[論文レビュー] MetaFun: Meta-Learning with Iterative Functional Updates

Jin Xu, Jean-François Ton+3 more|arXiv (Cornell University)|Dec 5, 2019

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 10

ひとこと要約

MetaFunは、文脈データを無限次元関数的表現にエンコードする反復的関数的更新を用いるメタラーニングフレームワークを提案する。これにより、少数ショット学習における一般化性能が向上する。ニューラル更新ルールを学習することで、MAML風の最適化に依存せずに、miniImageNetおよびtieredImageNetで最先端の性能を達成する。

ABSTRACT

We develop a functional encoder-decoder approach to supervised meta-learning, where labeled data is encoded into an infinite-dimensional functional representation rather than a finite-dimensional one. Furthermore, rather than directly producing the representation, we learn a neural update rule resembling functional gradient descent which iteratively improves the representation. The final representation is used to condition the decoder to make predictions on unlabeled data. Our approach is the first to demonstrates the success of encoder-decoder style meta-learning methods like conditional neural processes on large-scale few-shot classification benchmarks such as miniImageNet and tieredImageNet, where it achieves state-of-the-art performance.

研究の動機と目的

• エンコーダ・デコーダ型メタラーニングモデルにおける固定次元のベクトル的タスク表現の限界を解消すること。
• 関数的表現を用いて文脈点とターゲット点の相互作用をモデル化することで、少数ショット学習における一般化性能を向上させること。
• 直接的エンコーディングよりも、反復的関数的更新をより効果的なインダクティブバイアスとして探求すること。
• 関数的エンコーダ・デコーダアプローチを用いて、大規模な少数ショット分類ベンチマークで最先端の性能を示すこと。
• 局所的更新関数、関数的プーリング、反復回数といった異なる構成要因がモデル性能に与える影響を調査すること。

提案手法

• モデルは、文脈入力における予測値と真のラベルの差を計算する学習可能な局所的更新関数を用いて、文脈データを関数的表現にエンコードする。
• 関数的プーリングは、アテンションまたはディープカーネル機構を用いて局所的更新を集約し、入力ドメイン全体にわたる一般化を可能にする。
• 学習可能な学習率αを用いて、更新ルールを繰り返し適用することで、関数的表現を反復的に精錬し、関数的勾配降下に類似した挙動を再現する。
• デコーダネットワークは、最終的な関数的表現を条件として、ラベルなしのターゲット点の予測を生成する。
• 全システムは、タスク間でターゲットデータの予測誤差を最小化するメタラーニング目的関数を用いて、エンド・ツー・エンドで訓練される。
• 損失関数とデコーダーヘッドを適切に調整することで、回帰および分類の両方に対応可能である。

実験結果

リサーチクエスチョン

• RQ1 文脈サイズに応じて有効次元が増加する関数的表現が、固定次元のベクトル表現を上回る性能を示せるか？
• RQ2 反復的関数的更新を学習することで、メタラーニングにおける単一パスエンコーディングと比較して一般化性能が向上するか？
• RQ3 局所的更新関数の選択（ニューラルネットワーク対勾配ベース）が、少数ショット分類タスクの性能に与える影響は？
• RQ4 関数的プーリング機構（例：アテンション対ディープカーネル）が、さまざまな少数ショット設定におけるモデル性能に与える影響は？
• RQ5 反復的更新ステップ数が、最終的な正答率および収束に与える影響は？

主な発見

• MetaFunは、1ショットで67.72%、5ショットで82.81%の正答率を示し、miniImageNetで先行するエンコーダ・デコーダ手法を上回る最先端の性能を達成した。
• 5ショットで83.28%の正答率を達成し、ディープカーネルベースの関数的プーリングとニューラルネットワークベースの局所的更新関数を用いた。
• 複数反復（T ≥ 2）により、単一反復推論よりも顕著な性能向上が得られ、T=4を超えると利得が減少する傾向を示した。
• 勾配ベースの局所的更新関数に比べ、ニューラルネットワークでパrameter化された局所的更新関数が一貫して優れた性能を示したが、後者はインダクティブバイアスを有しているにもかかわらず。
• 5ショットタスクでは、ディープカーネルベースの関数的プーリングがドット積アテンションを上回ったが、1ショットタスクではアテンションが優れた性能を示した。
• シンプルなSEカーネルベースラインはディープカーネルより性能が低く、少数ショットデータにおける複雑な相互作用を捉えるために、パラメータ化されたカーネル関数が不可欠であることが示された。