[論文レビュー] Dynamic Input Structure and Network Assembly for Few-Shot Learning

Nathan Hilliard, Nathan O. Hodas+1 more|arXiv (Cornell University)|Aug 22, 2017

Domain Adaptation and Few-Shot Learning参考文献 7被引用数 3

ひとこと要約

本論文は、固定サイズの入力に依存する少数ショット学習モデルの限界を克服するため、動的入力構造とネットワークアセンブリ技術を提案する。この手法により、1つのモデルが、1クラスあたりのサポート例の数が異なる状況でも一般化可能となり、静的にコンパイルされたグラフ（例：TensorFlow）における共有重みを用いる。バッチ単位で例の数を変化させながら訓練することで、Caltech-UCSD Birdsで最高90.3%の精度を達成し、固定サイズのベースラインと比較して顕著に高い性能を示した。これは再訓練なしで堅牢な一般化性能を発揮することを示している。

ABSTRACT

The ability to learn from a small number of examples has been a difficult problem in machine learning since its inception. While methods have succeeded with large amounts of training data, research has been underway in how to accomplish similar performance with fewer examples, known as one-shot or more generally few-shot learning. This technique has been shown to have promising performance, but in practice requires fixed-size inputs making it impractical for production systems where class sizes can vary. This impedes training and the final utility of few-shot learning systems. This paper describes an approach to constructing and training a network that can handle arbitrary example sizes dynamically as the system is used.

研究の動機と目的

• 少数ショット学習モデルが固定サイズの入力を必要とするという制限を解消し、クラス数が変動する実世界のシステムへの導入を容易にすること。
• 推論時に1つのディープラーニングモデルが、クラスあたりの例数を任意に扱えるようにし、実用的で生産性の高いシステムを実現すること。
• 最適化中に多様な例数を用いて訓練することで、過学習を低減し、未知のショット設定への一般化性能を向上させること。
• 再トレーニングやアーキテクチャの変更なしに、2ショットから5ショットまでのさまざまなショット設定で高い性能を維持すること。

提案手法

• モデルは、関係性を計算する2段階アーキテクチャを採用している。まず、サポート例同士のペアワイズ比較によりクラス埋め込みを計算する関係性段階を経て、次にメトリクス学習段階でクエリを各クラス埋め込みと比較する。
• 画像特徴は事前学習済みのResNet-50（Omniglotではより単純なCNN）を用いて抽出され、処理前に次元を2048次元のベクトルに圧縮される。
• 関係性段階では、すべてのペアワイズ表現の平均としてクラス埋め込みが計算される：$ R(c_n) = \frac{1}{\binom{n}{2}} \sum_{i<j} g_\theta(c_i, c_j) $、ここで $ g_\theta $ は共有されたシアン型ネットワークである。
• 動的ネットワークアセンブリは、異なる例数に対応する入出力テンソルマッピングを事前に計算し、メモリ内ルックアップテーブルを用いてバッチ単位でサイズに依存しない推論を実現する。
• モデルは、確率的勾配降下法にモーメンタムを適用してエンドツーエンドで訓練され、各訓練バッチにはランダムに選択された例数（例：2〜5ショット）が含まれ、一般化性能を向上させる。
• すべての例数にわたって重みを共有することで、パrameter効率が向上し、アーキテクチャの変更なしにショット設定間での一般化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 再トレーニングなしで、1クラスあたりのサポート例数が異なる状況でも、少数ショット学習モデルが効果的に一般化できるか？
• RQ2 動的に変化する例数で訓練することで、過学習が軽減され、未知のショット設定への一般化性能が向上するか？
• RQ3 共有重みとランタイムアセンブリを用いて、静的グラフフレームワーク（例：TensorFlow）が動的入力サイズをサポートできるか？
• RQ4 未知の例数に対して評価した場合、固定サイズモデルと比較して、動的アセンブリモデルの性能はどの程度向上するか？

主な発見

• 動的入力モデルは、5ショットのCaltech-UCSD Birdsベンチマークで90.3%の精度を達成し、最良の固定サイズモデル（5ショットで74.7%）を顕著に上回った。
• 訓練時に使用しなかったより高いショット設定でも、動的モデルは高い性能を維持しており、ショットレベル間での強力な一般化性能を示している。
• Caltech-UCSD BirdsおよびOmniglotの両データセットにおいて、動的モデルはすべてのショット設定で固定サイズベースラインを上回り、5ショットOmniglotでは最大15.5ポイントの向上を達成した。
• 訓練時に例数をランダムに変化させることで、過学習が軽減され、ショットレベルにかかわらず一貫した性能が得られ、ロバストネスが向上した。
• 事前学習済み特徴と共有重みの活用により、最小限のアーキテクチャ変更で高い性能が得られ、オーバーヘッドも低かった。
• 動的ネットワークアセンブリ技術により、静的グラフフレームワーク内でもサイズに依存しない推論が成功裏に実現され、モデルのプロダクション適合性が確保された。