[論文レビュー] Incremental Few-Shot Learning with Attention Attractor Networks

Mengye Ren, Renjie Liao+2 more|arXiv (Cornell University)|Oct 16, 2018

Domain Adaptation and Few-Shot Learning参考文献 42被引用数 30

ひとこと要約

本稿では、元のデータを再トレーニングせずに、少数の例で新しいクラスを学習しつつ、ベースクラスの性能を維持するインクリメンタル少数-shot学習のためのアテンションアトラクター・ネットワークを提案する。再帰的誤差逆伝播（RBP）を用いて、ベースクラスの特徴に注目する正則化項を最適化することで、元のデータを再トレーニングせずに、mini-ImageNetおよびtiered-ImageNetで最先端の性能を達成し、深刻な忘却を効果的に軽減している。

ABSTRACT

Machine learning classifiers are often trained to recognize a set of pre-defined classes. However, in many applications, it is often desirable to have the flexibility of learning additional concepts, with limited data and without re-training on the full training set. This paper addresses this problem, incremental few-shot learning, where a regular classification network has already been trained to recognize a set of base classes, and several extra novel classes are being considered, each with only a few labeled examples. After learning the novel classes, the model is then evaluated on the overall classification performance on both base and novel classes. To this end, we propose a meta-learning model, the Attention Attractor Network, which regularizes the learning of novel classes. In each episode, we train a set of new weights to recognize novel classes until they converge, and we show that the technique of recurrent back-propagation can back-propagate through the optimization process and facilitate the learning of these parameters. We demonstrate that the learned attractor network can help recognize novel classes while remembering old classes without the need to review the original training set, outperforming various baselines.

研究の動機と目的

• 少数の例で新しいクラスを学習しつつ、以前に学習したベースクラスの性能を維持する課題に対処すること。
• ベースクラスの特徴の記憶を用いて、新規クラスのエピソード学習を正則化するメタラーニングフレームワークを開発すること。
• 元のトレーニングデータへのアクセスなし、または完全な再トレーニングなしで、効果的な継続的学習を可能にすること。
• インクリメンタル少数-shot学習のシナリオにおいて、一般化性能を向上させ、忘却を低減すること。

提案手法

• エピソード学習中にベースクラスの特徴に注目する正則化項を生成するアテンションアトラクター・ネットワークを提案する。
• エピソード最適化プロセス全体を再帰的に誤差逆伝播（RBP）することで、エンド・ツー・エンドのメタラーニングを可能にする。
• 微分可能な反復ソルバーを用いて、収束するまでエピソード分類器をトレーニングし、アテンションアトラクターからの正則化を適用する。
• エピソード分類器のファストウェイトをベースクラスの表現に引き寄せる動的正則化項を学習し、忘却を低減する。
• アトラクター・ネットワークが正則化強度を予測することで、メタラーナーがエピソード全体の期待クエリ損失を最小化する。
• サポートセットに新規クラスのみを含み、クエリセットにベースクラスと新規クラスの両方を含む少数-shot学習設定で、本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 ベースクラスの特徴への注目に基づくメタラーニングされた正則化項は、インクリメンタル少数-shot学習における深刻な忘却を軽減できるか？
• RQ2 エピソード最適化プロセスを再帰的に誤差逆伝播することで、切り詰めたBPTTや1ステップ更新に比べ、より良い正則化が可能になるか？
• RQ3 標準的な少数-shotベンチマークにおいて、固定された重み減衰や静的アトラクターを用いたベースラインと比較して、本手法の性能はどのように異なるか？
• RQ4 注目アトラクター・モデルは、異なる数のベースクラスに対して一般化可能であり、継続的学習シミュレーションにおいても頑健性を保てるか？

主な発見

• 提案されたアテンションアトラクター・ネットワークは、mini-ImageNetおよびtiered-ImageNetの両方で、固定された重み減衰や静的アトラクターを用いたベースラインを上回り、優れた一般化性能と忘却の軽減を示している。
• 再帰的誤差逆伝播（RBP）により、アトラクター正則化項の有効なメタラーニングが可能となり、切り詰めたBPTTに比べて優れた性能を発揮している。特に、テスト時にエピソード学習を収束まで実行した場合、切り詰めたBPTTは一般化に失敗する。
• mini-ImageNetでは、1-shotおよび5-shot 64+5-way少数-shot学習で最先端の性能を達成し、先行手法に比して一貫した改善を示している。
• アブレーションスタディの結果、手動の重み減衰と比較して、学習されたアトラクターはベースクラスの性能劣化を顕著に低減しており、特にベースクラスと新規クラスの共同予測において顕著である。
• 可視化により、アトラクター・ネットワークがエピソード分類器のプロトタイプをベースクラスの表現に引き寄せていることが確認され、学習の安定化を図る動的記憶メカニズムを提供している。
• ベースクラスの数を50から150に増やすことで、より良いバックボーン表現により全体の精度が向上するが、200クラスに達するとタスクの複雑さの増加により性能が低下する。