[論文レビュー] XtarNet: Learning to Extract Task-Adaptive Representation for Incremental Few-Shot Learning

S.W. Yoon, Do-Yeon Kim+2 more|arXiv (Cornell University)|Mar 19, 2020

Domain Adaptation and Few-Shot Learning参考文献 15被引用数 7

ひとこと要約

XtarNetは、メタ学習された新規特徴量と事前学習されたバックボーン特徴量を組み合わせることで、タスク適応的表現（TAR）を学習する、インクリメンタル少数 shot学習のための新規フレームワークを提案する。メタ学習されたモジュールを介してこれらの特徴量を統合することで、TARはベースカテゴリおよび新規カテゴリの分類精度を向上させ、mini-ImageNetおよびtiered-ImageNetベンチマークで最先端の性能を達成する。

ABSTRACT

Learning novel concepts while preserving prior knowledge is a long-standing challenge in machine learning. The challenge gets greater when a novel task is given with only a few labeled examples, a problem known as incremental few-shot learning. We propose XtarNet, which learns to extract task-adaptive representation (TAR) for facilitating incremental few-shot learning. The method utilizes a backbone network pretrained on a set of base categories while also employing additional modules that are meta-trained across episodes. Given a new task, the novel feature extracted from the meta-trained modules is mixed with the base feature obtained from the pretrained model. The process of combining two different features provides TAR and is also controlled by meta-trained modules. The TAR contains effective information for classifying both novel and base categories. The base and novel classifiers quickly adapt to a given task by utilizing the TAR. Experiments on standard image datasets indicate that XtarNet achieves state-of-the-art incremental few-shot learning performance. The concept of TAR can also be used in conjunction with existing incremental few-shot learning methods; extensive simulation results in fact show that applying TAR enhances the known methods significantly.

研究の動機と目的

• インクリメンタル少数 shot学習における崩壊的忘却（ catastrophic forgetting ）を解消すること。これは、少ない例えで新しいカテゴリを学習しつつ、以前に学習したベースカテゴリの知識を保持する必要がある。
• 事前知識と新しいタスク固有の特徴量を統合するタスク適応的表現（TAR）を学習することで、ベースカテゴリおよび新規カテゴリの分類性能を向上させること。
• 既存のインクリメンタル少数 shot学習手法を効果的に強化できる、モジュラーかつプラグイン互換性のあるフレームワークを開発すること。
• タスク適応的表現学習が、少数 shot状況におけるクラスタリング品質、信頼性、および正解率を顕著に向上させることを示すこと。

提案手法

• XtarNetは、ベースカテゴリの特徴量を事前学習されたバックボーンネットワークで取得し、追加のメタ学習されたモジュールを用いてサポートセットからタスク固有の新規特徴量を抽出する。
• ベース特徴量（バックボーンから）と新規特徴量（メタモジュールから）の要素ごとの連結と適応的重み付けを通じて、タスク適応的表現（TAR）を構築する。
• メタ学習された注目重み（ω_meta）が、ベース特徴量と新規特徴量の統合を動的に制御し、タスクに応じた表現学習を可能にする。
• TARを入力として使用することで、ベース分類器および新規分類器を迅速に適応させる。新規分類器の重みは、結合特徴量のクラス別平均値から導出される。
• モデルはエピソードベースのメタ学習設定で訓練され、各エピソードには新規カテゴリからの少数 shotサポートセットと、ベースクラスおよび新規クラスからのクエリサンプルが含まれる。
• このフレームワークは、既存のインクリメンタル少数 shot学習者（例：Imprint, LwoF）と互換性があり、TARはパフォーマンス向上のためのプラグインモジュールとして適用可能である。

実験結果

リサーチクエスチョン

• RQ1 メタ学習された特徴量統合機構は、インクリメンタル学習における崩壊的忘却を防ぎつつ、少数 shot分類精度を向上させることができるか？
• RQ2 標準的な少数 shotベースラインと比較して、タスク適応的表現を用いることで、特徴空間内のクラスタリング品質はどのように変化するか？
• RQ3 TARは、少数 shot状況下で推論の信頼性およびラベル正解率をどの程度向上させるか？
• RQ4 提案されたTAR機構は、既存のインクリメンタル少数 shot学習手法と効果的に組み合わせられ、一貫したパフォーマンス向上をもたらすか？

主な発見

• XtarNetは、インクリメンタル少数 shot学習におけるmini-ImageNetおよびtiered-ImageNetベンチマークで、最先端の性能を達成した。
• 提案されたTAR機構により、Imprintベースラインと比較して、ベースカテゴリの二乗誤差和（SSE）が53.6%削減され、新規カテゴリでは39.9%削減された。
• 最近接干渉クラスターメトリックによるSSE正規化（nSSE）では、新規カテゴリの誤差が28.3%削減され、クラス間分離性の向上が示された。
• 交差エントロピー損失は、ベースカテゴリで66.3%、新規カテゴリで81.5%削減され、予測の正確性と信頼性が著しく向上した。
• シャノンエントロピーは、ベースカテゴリで72.1%、新規カテゴリで74.2%削減され、TARによる予測の信頼性の向上が確認された。
• 複数のベースラインに対して一貫した性能向上が得られたことから、TARはインクリメンタル少数 shot学習における汎用的で強力な向上手法であると示された。