[論文レビュー] Is Support Set Diversity Necessary for Meta-Learning?

Amrith Setlur, Oscar Li+1 more|arXiv (Cornell University)|Nov 28, 2020

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 8

ひとこと要約

本論文は、メタラーニングのタスク間でサポートセットを固定することで、サポートセットの多様性を低減する手法を提案し、複数のデータセットおよびモデルにおいて少数ショット学習性能が一貫して向上することを示している。驚くべきことに、タスクの多様性を制限することで一般化性能が向上するという事実は、一般的に多様なタスクがメタラーニングを改善するとされる常識に挑戦するものである。

ABSTRACT

Meta-learning is a popular framework for learning with limited data in which an algorithm is produced by training over multiple few-shot learning tasks. For classification problems, these tasks are typically constructed by sampling a small number of support and query examples from a subset of the classes. While conventional wisdom is that task diversity should improve the performance of meta-learning, in this work we find evidence to the contrary: we propose a modification to traditional meta-learning approaches in which we keep the support sets fixed across tasks, thus reducing task diversity. Surprisingly, we find that not only does this modification not result in adverse effects, it almost always improves the performance for a variety of datasets and meta-learning methods. We also provide several initial analyses to understand this phenomenon. Our work serves to: (i) more closely investigate the effect of support set construction for the problem of meta-learning, and (ii) suggest a simple, general, and competitive baseline for few-shot learning.

研究の動機と目的

• 少数ショット分類における効果的なメタラーニングのためには、サポートセットの多様性が必要かどうかを調査すること。
• 多様なタスクがメタラーニング性能を向上させるという一般的な信念に挑戦すること。
• タスク間でのサポートセットの変動を制限する修正されたメタラーニング目的を提案・評価すること。
• 標準のメタラーニングを上回るシンプルで効果的かつ一般化可能なベースラインを少数ショット学習に提供すること。
• 固定されたサポートセットと多様なサポートセットで訓練されたモデルの最適化および一般化挙動を分析すること。

提案手法

• メタトレーニング中にすべてのタスクで同じサポートセットを固定するようにメタラーニング目的を再定式化し、タスクの多様性を低減すること。
• プロトタイプネットワーク（Protonet）やラストレイヤー法を含む、さまざまなメタラーニング手法に固定サポート目的を適用すること。
• エピソードベースのメタラーニングを用いてモデルを訓練するが、エピソード間で同一のサポートセットを維持し、エピソード構造を保ちつつサポートセットの変動を制約すること。
• miniImageNet、CIFAR-FS、FC100において、固定サポートセットで訓練されたモデル（fix-ml）と標準メタラーニング（ml）の一般化性能を比較すること。
• 損失のランドスケープ可視化と、トレースを用いたフィッシャー情報の曲率指標（例：trace of Fisher information）を用いて、トレーニングダイナミクスと一般化ギャップを分析すること。
• 一般化ギャップの差を評価するためのTakeuchi情報基準の代理指標として、比 $\frac{\mathrm{tr}(\bm{C})}{\mathrm{tr}(\bm{F})}$ を用いること。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングタスクにおけるサポートセットの多様性を低減することは、モデルの一般化性能を低下させるか、向上させるか？
• RQ2 タスク間で固定されたサポートセットが、多様なサポートセットを用いた標準メタラーニングよりも優れた少数ショット分類精度を達成できるか？
• RQ3 固定されたサポートセットによる性能向上を説明する背後にある最適化および一般化ダイナミクスは何か？
• RQ4 固定されたサポートセットで訓練されたモデルと多様なサポートセットで訓練されたモデルとの間で、損失ランドスケープおよび解の鋭さはどのように異なるか？
• RQ5 観察された向上は、より良い最適化、より平坦なミニマ、それとも学習された表現の他の構造的性質に起因するのか？

主な発見

• 固定されたサポートセットは、複数のメタラーニング手法を用いて、miniImageNet、CIFAR-FS、FC100のすべてのデータセットで一貫して少数ショット分類精度を向上させる。
• fix-mlの目的は、一部のケースで高い訓練損失を示しても、標準メタラーニングよりも一般化ギャップが小さいモデルを生成する。
• fix-mlと標準メタラーニングのモデルの間で線形補間を行うと、fix-mlの解が鋭いミニマ領域にあることが示され、平坦性と一般化の直感とは矛盾する。
• 比 $\frac{\mathrm{tr}(\bm{C})}{\mathrm{tr}(\bm{F})}$ は一般化ギャップと相関しており、fix-mlモデルは低い値を示しており、一般化性能の向上と関連する可能性がある。
• 固定されたサポートセットによる改善は、異なるアーキテクチャ（例：ResNet-12、プロトタイプネットワーク）およびデータセットに対して安定しており、広範な適用可能性を示している。
• この現象は、標準的な平坦性や曲率指標では説明できないため、代替的なインダクティブバイアスまたは最適化ダイナミクスが関与している可能性がある。