[論文レビュー] Improving Generalization in Meta-learning via Task Augmentation

Huaxiu Yao, Long-Kai Huang+6 more|arXiv (Cornell University)|Jul 26, 2020

Domain Adaptation and Few-Shot Learning参考文献 44被引用数 12

ひとこと要約

本稿では、勾配ベースのメタラーニングにおけるメタ一般化を向上させるために、メタトレーニング中に合成データを注入する2つのタスク増強手法、MetaMixおよびChannel Shuffleを提案する。特徴量とラベルの線形補間（MetaMix）またはクラス間でチャネルをシャッフルする（Channel Shuffle）ことで、モデルのロバスト性が向上し、複数の少サンプル学習ベンチマークで最先端の性能を達成し、SOTAベースラインを一貫して上回る向上を示した。

ABSTRACT

Meta-learning has proven to be a powerful paradigm for transferring the knowledge from previous tasks to facilitate the learning of a novel task. Current dominant algorithms train a well-generalized model initialization which is adapted to each task via the support set. The crux lies in optimizing the generalization capability of the initialization, which is measured by the performance of the adapted model on the query set of each task. Unfortunately, this generalization measure, evidenced by empirical results, pushes the initialization to overfit the meta-training tasks, which significantly impairs the generalization and adaptation to novel tasks. To address this issue, we actively augment a meta-training task with "more data" when evaluating the generalization. Concretely, we propose two task augmentation methods, including MetaMix and Channel Shuffle. MetaMix linearly combines features and labels of samples from both the support and query sets. For each class of samples, Channel Shuffle randomly replaces a subset of their channels with the corresponding ones from a different class. Theoretical studies show how task augmentation improves the generalization of meta-learning. Moreover, both MetaMix and Channel Shuffle outperform state-of-the-art results by a large margin across many datasets and are compatible with existing meta-learning algorithms.

研究の動機と目的

• メタラーニングにおける過学習、特に記憶化とラーナーの過学習を軽減し、未知のタスクへの一般化性能を向上させること。
• 合成データを用いたメタトレーニングタスクの積極的増強により、モデル初期化の一般化能力を向上させること。
• サポートセットへの依存性を高めるとともに、適応の柔軟性を制限せずに意味のあるインダクティブバイアスを注入するデータ増強戦略を開発すること。
• 既存のメタラーニングフレームワークに適用可能な、理論的裏付けがあり、互換性があり、効果的な増強手法を提供すること。

提案手法

• MetaMixは、サポートセットとクエリセットのサンプル間で特徴量とラベルを線形補間し、メタトレーニング用の増強サンプルを生成する。
• Channel Shuffleは、サンプルのランダムなサブセットのチャネルを、異なるクラスの対応するチャネルに置き換えることで、クラス間の特徴量混合を導入する。
• 組み合わせたMMCF手法は、MetaMixの後にChannel Shuffleを適用し、特徴量の多様性とモデルのロバスト性を向上させる。
• MAML、HSML、ARMLなどの既存のメタラーニングアルゴリズムに統合可能であり、アーキテクチャの変更は不要である。
• 混在率λやベータ分布のパラメータα、βといったハイパーパrameterについて、ロバスト性と最適性能の分析が行われた。
• 理論的分析により、タスク増強が初期化のインダクティブバイアスを増加させることで、過学習を軽減し、一般化性能を向上させることを示した。

実験結果

リサーチクエスチョン

• RQ1 メタトレーニング中に積極的なタスク増強を実施することで、メタラーニングにおける記憶化やラーナーの過学習を効果的に軽減できるか？
• RQ2 特徴量とラベルの混合による合成データの注入は、モデル初期化の一般化性能をどのように向上させるか？
• RQ3 チャネルレベルのデータ増強は、少サンプル学習におけるメタ一般化にどのような影響を与えるか？
• RQ4 混在率やベータ分布パラメータといったハイパーパrameterの選択に対して、MetaMixおよびChannel Shuffleはどの程度ロバストか？
• RQ5 これらの増強戦略は、アーキテクチャの変更なしに、既存のメタラーニングアルゴリズムに普遍的に適用可能か？

主な発見

• MMCFは、ミニImageNetにおける5-way 1-shot設定で53.17%の正確度を達成し、次に良い手法（ARML）を2.34ポイント上回った。
• 同じベンチマークにおいて、ARML-MMCFは5-way 1-shotで38.70%の正確度を示し、元のARMLよりも10.03ポイント向上した。
• 5-way 5-shot設定では、ARML-MMCFがミニImageNetで73.30%の正確度を達成し、最良のベースライン（ARML）を8.99ポイント上回った。
• 提案手法は、Omniglot、Aircraft、Fungiを含むすべてのデータセットで一貫した性能向上を示し、低ショット環境での顕著な向上を示した。
• ハイパーパrameter分析により、αおよびλの異なる値に対してもロバストな性能が得られ、歪んだベータ分布下でも安定した結果が得られた。
• 過学習を低減することを目的とした相互排他的な設定ですら、MMCFは標準的なMAMLを上回る性能を示し、一般化の利点を確認した。