[論文レビュー] Learning with Imprinted Weights

H. Jerry Qi, Matthew A. Brown+1 more|arXiv (Cornell University)|Dec 19, 2017

Domain Adaptation and Few-Shot Learning参考文献 12被引用数 10

ひとこと要約

本論文では、少数ショット学習例のスケーリングされた埋め込みを用いて、ConvNetsの最終層重みを直接設定する重みインプリンティングという手法を紹介している。これにより、新しいカテゴリの分類が迅速に行える。プロキシベースの手法とは異なり、各クラスごとに1つの学習済み重みベクトルを用いることで、訓練例の最近傍距離に依存するインスタンス埋め込みよりも優れた一般化性能を達成する。

ABSTRACT

Human vision is able to immediately recognize novel visual categories after seeing just one or a few training examples. We describe how to add a similar capability to ConvNet classifiers by directly setting the final layer weights from novel training examples during low-shot learning. We call this process weight imprinting as it directly sets weights for a new category based on an appropriately scaled copy of the embedding layer activations for that training example. The imprinting process provides a valuable complement to training with stochastic gradient descent, as it provides immediate good classification performance and an initialization for any further fine-tuning in the future. We show how this imprinting process is related to proxy-based embeddings. However, it differs in that only a single imprinted weight vector is learned for each novel category, rather than relying on a nearest-neighbor distance to training instances as typically used with embedding methods. Our experiments show that using averaging of imprinted weights provides better generalization than using nearest-neighbor instance embeddings.

研究の動機と目的

• 1つまたは数個の訓練例を確認した後、ConvNet分類器が新しい視覚的カテゴリを迅速に認識できるようにすること。
• 勾配降下法の確率的特性が低ショット学習において制限をもたらす問題を解決し、新しいクラスのための即時の高品質な初期化を提供すること。
• 訓練例の最近傍距離に依存する既存の埋め込みベース手法の一般化性能を向上させること。
• 新しいクラスの重みを初期化する直接的で反復処理を要しない手法を検討すること。

提案手法

• 本手法は、1つの訓練例の埋め込み層出力のスケーリングコピーを用いて、新しいクラスの最終全結合層重みを直接設定する。
• インプリンティングされた重みベクトルは、入力例の活性化を学習済み変換を通じて投影することによって得られ、新規クラスのプロトタイプを効果的に作成する。
• 最近傍比較に依存しないようにするため、各新規カテゴリに対して1つの固定された重みベクトルを学習する。
• 同じクラスの異なる例からの複数のインプリンティング重みを平均化することで、一般化性能が向上する。
• 本手法はプロキシベース埋め込みに類似しているが、各クラスに対して距離ベースの検索ではなく1つのベクトルを用いる点で異なる。

実験結果

リサーチクエスチョン

• RQ1 インプリンティングされた埋め込みを用いた直接的な重み初期化は、標準的な微調整よりも優れた少数ショット分類性能を達成できるか？
• RQ2 各クラスに対して1つのプロトタイプベクトルを用いる方法は、最近傍ベースのインスタンス埋め込みと比較して一般化性能にどのように影響するか？
• RQ3 同じクラスの複数の例からのインプリンティング重みを平均化することは、1つの例のみを用いる場合よりも性能向上に寄与するか？
• RQ4 低ショット学習の状況において、重みインプリンティングはプロキシベース埋め込み手法と比較してどのように異なるか？

主な発見

• 重みインプリンティングは、1つまたは数個の例を確認した後、新しいカテゴリに対して即時の高品質な分類性能を提供する。
• 同じクラスの複数の例からのインプリンティング重みを平均化することは、1つのインプリンティングベクトルを用いる場合よりも一般化性能が向上する。
• 本手法は、訓練例の距離比較に依存しないため、最近傍インスタンス埋め込みアプローチよりも優れた性能を発揮する。
• インプリンティングプロセスは、その後の微調整のための効果的な初期化として機能し、収束性と最終的な正確性が向上する。