[論文レビュー] TAFE-Net: Task-Aware Feature Embeddings for Low Shot Learning

Xin Wang, Fisher Yu+3 more|arXiv (Cornell University)|Apr 11, 2019

Domain Adaptation and Few-Shot Learning参考文献 40被引用数 12

ひとこと要約

TAFE-Netは、タスク記述に基づいて画像特徴を動的に適応させることで、タスクに依存する特徴埋め込み（TAFE）を生成するメタラーニングフレームワークを導入している。メタラーナーは特徴層のタスク固有の重みを生成する。TAFE-Netは、データ生成を伴わずに、未学習の属性-オブジェクト構成タスクにおいて、4〜15ポイントの精度向上を達成し、ゼロショットおよびフェイントショットベンチマークで最先端の性能を発揮している。

ABSTRACT

Learning good feature embeddings for images often requires substantial training data. As a consequence, in settings where training data is limited (e.g., few-shot and zero-shot learning), we are typically forced to use a generic feature embedding across various tasks. Ideally, we want to construct feature embeddings that are tuned for the given task. In this work, we propose Task-Aware Feature Embedding Networks (TAFE-Nets) to learn how to adapt the image representation to a new task in a meta learning fashion. Our network is composed of a meta learner and a prediction network. Based on a task input, the meta learner generates parameters for the feature layers in the prediction network so that the feature embedding can be accurately adjusted for that task. We show that TAFE-Net is highly effective in generalizing to new tasks or concepts and evaluate the TAFE-Net on a range of benchmarks in zero-shot and few-shot learning. Our model matches or exceeds the state-of-the-art on all tasks. In particular, our approach improves the prediction accuracy of unseen attribute-object pairs by 4 to 15 points on the challenging visual attribute-object composition task.

研究の動機と目的

• 一般的な特徴埋め込みの低ショット学習における限界、すなわち、新しいまたは珍しいタスクに対して最適でない共有表現の問題を解決すること。
• タスク固有の微調整や追加データを必要とせずに、画像特徴の動的かつタスク固有の適応を可能にすること。
• メトリック学習を用いて画像とタスクを同時にクラスタリングすることで、多様でスパースな学習タスクにおける一般化性能を向上させること。
• 大規模ネットワークのパラメータ生成の複雑さを低減するため、タスク固有の重みと共有重みを因子化すること。
• データハリュシネーションに依存せずに、ゼロショットおよびフェイントショット学習で最先端の性能を達成すること。

提案手法

• メタラーナーは、GloVeからのようなタスク埋め込みに基づいて、予測ネットワークの特徴層のタスク固有パラメータを生成する。
• ネットワークは、パラメータを低次元のタスク固有重みと高次元の共有重みに分割する重み因子化スキームを採用し、学習の複雑さを低減する。
• メトリック学習に基づく埋め込み損失は、類似する画像とタスクの共同クラスタリングを促進する。
• モデルはすべてのタスクに共通する分類器を採用し、TAFEを入力として受け取り、タスクに依存しない線形境界を用いて予測を行う。
• SGDとモーメンタムを用いてエンドツーエンドで訓練され、1イテレーションあたり100クラスのバッチサンプリングが行われ、学習率の段階的減少が適用される。
• 本手法はゼロショットおよびフェイントショット学習の両方に適用可能であり、ImageNetベースのフェイントショットベンチマークおよび属性-オブジェクト構成タスクに用いられるMITStatesで評価されている。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングフレームワークは、低ショット設定において、一般的な埋め込みよりも優れた一般化性能を示すタスクに依存する特徴埋め込みを生成できるか？
• RQ2 低次元のタスク埋め込みから重みを生成する際、特徴層のパラメータ生成を効率的かつスケーラブルにできるか？
• RQ3 画像とタスクの上での共同メトリック学習は、未学習のタスクにおける一般化性能を向上させられるか？
• RQ4 提案された重み因子化スキームは、性能を維持しつつ学習の複雑さを低減できるか？
• RQ5 TAFE-Netは、データ拡張やハリュシネーションに依存せずに、ゼロショットおよびフェイントショットベンチマークで最先端のモデルを上回ることができるか？

主な発見

• TAFE-Netは、データ生成を伴わずに、5つの標準的なゼロショット学習ベンチマークのうち3つで最先端の性能を達成した。
• MITStatesデータセットでは、TAFE-Netは未学習の属性-オブジェクト構成タスクにおいて、先行手法と比較して4〜15ポイントの精度向上を達成した。
• ImageNetベースのベンチマークにおけるフェイントショット学習では、TAFE-Netは、プロトタイプネットワークやマッチングネットワークなどの最先端のメタラーニングモデルと同等またはそれ以上の性能を示した。
• n=2のフェイントショット例において、全クラスでのトップ5精度は61.9%、新規クラスでは53.9%を達成し、ベースラインのLogRegを上回り、PNやMNと同等の性能を示した。
• TAFE-Netにハリュシネータを追加することは可能であり、性能をさらに向上させられるが、時間的制約のため検討されていない。
• 提案された埋め込み損失と重み因子化は、データが少ない環境における一般化性能と学習の安定性を顕著に向上させた。