[論文レビュー] Low-Shot Learning with Imprinted Weights

H. Jerry Qi, Matthew A. Brown+1 more|arXiv (Cornell University)|Dec 19, 2017

Domain Adaptation and Few-Shot Learning参考文献 21被引用数 8

ひとこと要約

本論文は、新しいクラスの例からスケーリングされた活性化を用いて、ConvNet分類器の最終層重みを直接設定する重みインプリンティングという手法を導入する。これにより、最小限のデータで即時分類性能が得られ、1～5ショット学習の設定においてCUB-200-2011で優れた性能を示す。実験では、インプリントされた埋め込みの平均化が最近傍法分類を上回り、微調整の初期化としても優れた性能を発揮する。

ABSTRACT

Human vision is able to immediately recognize novel visual categories after seeing just one or a few training examples. We describe how to add a similar capability to ConvNet classifiers by directly setting the final layer weights from novel training examples during low-shot learning. We call this process weight imprinting as it directly sets weights for a new category based on an appropriately scaled copy of the embedding layer activations for that training example. The imprinting process provides a valuable complement to training with stochastic gradient descent, as it provides immediate good classification performance and an initialization for any further fine-tuning in the future. We show how this imprinting process is related to proxy-based embeddings. However, it differs in that only a single imprinted weight vector is learned for each novel category, rather than relying on a nearest-neighbor distance to training instances as typically used with embedding methods. Our experiments show that using averaging of imprinted weights provides better generalization than using nearest-neighbor instance embeddings.

研究の動機と目的

• 1～5個の学習例でのみ、人間の少ショット認識に類似した即時分類を可能にすること。
• すべての過去データを再トレーニングが必要な標準的な微調整の制限を克服し、リソース制限のあるデバイスでも利用可能にする。
• 複数の保存済み例を1つの平均埋め込みベクトルに置き換えることで、埋め込みベース手法の改善を図り、メモリ消費を削減し、一般化性能を向上させる。
• ランダム初期化の代わりに、インプリントされた重みを用いることで、その後の微調整の初期化をより良くすること。

提案手法

• 本手法は、新しいクラスの1枚または複数枚の訓練画像から中間層（最終層の直前）の活性化を計算し、それをスケーリングして最終層の重みとして設定する。
• 学習可能なスケーリング係数を備えた正規化層により、これらの活性化を直接分類器重みとしてコピー可能にし、標準的なConvNetのパrametric形式を維持する。
• 1クラスあたり複数の例がある場合、活性化を平均化して1つの安定した重みベクトルを形成し、個々の埋め込みをすべて保存する必要をなくす。
• インプリントされた重みは直接推論に使用され、再トレーニングなしで即時分類性能を提供する。
• バックプロパゲーションと互換性があり、後でデータが得られた場合にさらに微調整が可能である。
• 標準的なソフトマックス交差エントロピー損失を用いて評価しており、トリプルットやリフトド構造的損失のようなより複雑な損失関数とは対照的である。

実験結果

リサーチクエスチョン

• RQ1 少数ショットの例からの活性化を用いて重みを直接初期化することで、保存済み埋め込みの最近傍検索よりも即時分類性能が向上するか？
• RQ2 インプリントされた埋め込みを平均化することで、個々の例の埋め込みを用いた最近傍法分類と比較して一般化性能が向上するか？
• RQ3 微調整の初期化として、ランダム初期化と比較して重みインプリンティングはどのように性能を発揮するか？
• RQ4 インプリンティングと微調整を組み合わせることで、標準的なトレーニング手法よりも高い最終的な正確性が得られるか？
• RQ5 損失関数の選択（例：ソフトマックス vs. リフトド構造的損失）は、インプリントされた重みの性能に影響を与えるか？

主な発見

• 平均化された埋め込みを用いたインプリンティングは、CUB-200-2011で20ショット学習において52.25％のトップ1精度を達成し、個々の埋め込みを用いた最近傍法分類を上回った。
• 10ショット学習では、インプリントモデルが48.74％のトップ1精度を達成し、ベースラインの最近傍法アプローチを顕著に上回った。
• 微調整を実施した場合、20ショット学習で70.07％のトップ1精度を達成し、ランダム初期化と微調整で得られた71.57％を上回った。
• 1クラスあたりの埋め込み例をすべて保存する代わりに1つの重みベクトルのみを保存することで、テスト時のメモリと計算量を削減した。
• 埋め込み次元を64から512に増加させても性能に顕著な影響がなく、埋め込みサイズに対してロバストであることが示された。
• ソフトマックス損失を用いたインプリンティングは、同じ設定でリフトド構造的損失を上回った。これは、インプリンティングと組み合わせた場合、単純な目的関数がより効果的である可能性を示唆している。