[論文レビュー] A Reweighted Meta Learning Framework for Robust Few Shot Learning.

Krishnateja Killamsetty, Changbin Li+3 more|arXiv (Cornell University)|Nov 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 5

ひとこと要約

本稿では、少数ショット学習における頑健性を向上させるために、適応的インスタンス/タスク重みを割り当てる再重み付けメタラーニングフレームワークRW-MAMLを提案する。バイ・バイレベル最適化を用いて検証タスクに基づき動的に重みを調整することで、RW-MAMLは分布外タスクおよびノイズラベルの状況において、最先端の手法を上回る性能を示し、ドメインシフトやラベル汚染に対して優れた汎化性能と耐性を示した。

ABSTRACT

Model-Agnostic Meta-Learning (MAML) is a popular gradient-based meta-learning framework that tries to find an optimal initialization to minimize the expected loss across all tasks during meta-training. However, it inherently assumes that the contribution of each instance/task to the meta-learner is equal. Therefore, it fails to address the problem of domain differences between base and novel classes in few-shot learning. In this work, we propose a novel and robust meta-learning algorithm, called RW-MAML, which learns to assign weights to training instances or tasks. We consider these weights to be hyper-parameters. Hence, we iteratively optimize the weights using a small set of validation tasks and an online approximation in a \emph{bi-bi-level} optimization framework, in contrast to the standard bi-level optimization in MAML. Therefore, we investigate a practical evaluation setting to demonstrate the scalability of our RW-MAML in two scenarios: (1) out-of-distribution tasks and (2) noisy labels in the meta-training stage. Extensive experiments on synthetic and real-world datasets demonstrate that our framework efficiently mitigates the effects of unwanted instances, showing that our proposed technique significantly outperforms state-of-the-art robust meta-learning methods.

研究の動機と目的

• ベースクラスとネイティブクラスの間でドメインシフトが生じる状況下で、すべてのインスタンス/タスクが等価に寄与すると仮定するMAMLの制限を解消すること。
• メタトレーニング中に生じる2つの実用的課題、すなわち分布外タスクとノイズラベルの状況下でも、少数ショット学習の頑健性を向上させること。
• 反復的最適化を通じてインスタンス/タスク重みをハイパーパrameterとして学習するスケーラブルで実用的なフレームワークを開発すること。
• 検証性能に基づき動的に重みを再割り当てすることで、分布シフトやラベルノイズへの適応を効果的に可能にすること。

提案手法

• インスタンス/タスク重みをハイパーパrameterとして学習するバイ・バイレベル最適化フレームワークを提案し、標準MAMLのバイレベル構造とは明確に区別する。
• オンライン近似を用いて、少数の検証タスクを用いてメタトレーニング中に効率的に重みを更新する。
• インスタンス/タスク重みを検証性能に基づく勾配更新により最適化される学習可能なパラメータとして扱う。
• メタ最適化中に外れ値やノイズのあるインスタンスの影響を低減する再重み付け機構を導入する。
• モデルに依存しない性質を維持しつつ、動的かつデータ依存の重み付けを可能にし、汎化性能を向上させる。
• インハウスおよび分布外の両設定でフレームワークを適用し、頑健性とスケーラビリティを評価する。

実験結果

リサーチクエスチョン

• RQ1 ベースクラスとネイティブクラスの間で分布シフトが生じる状況下でも、適応的インスタンス/タスク重み付けがメタラーナーの頑健性を向上させ得るか？
• RQ2 標準MAMLおよび他の頑健なメタラーニング手法と比較して、メタトレーニング中にノイズラベルが存在する状況下でRW-MAMLはどのように性能を発揮するか？
• RQ3 バイ・バイレベル最適化フレームワークは、限られた検証データを伴う現実世界の少数ショット学習シナリオに効果的にスケーリング可能か？
• RQ4 再重み付けは、メタテスト中に分布外タスクの悪影響をどの程度軽減できるか？

主な発見

• RW-MAMLは、合成データおよび実世界のデータセットにおいて、分布外タスク設定下で最先端の頑健なメタラーニング手法を顕著に上回る性能を示した。
• フレームワークは、メタトレーニング中のノイズラベルの悪影響を効果的に軽減し、ネイティブタスクへの汎化性能を向上させた。
• バイ・バイレベル最適化により、限られた検証データでも効率的かつスケーラブルな重み学習が可能であり、性能を維持した。
• 適応的再重み付けにより、問題のあるインスタンスの影響が低減され、より安定的で頑健なメタ最適化が実現した。
• 実験的結果から、RW-MAMLは複数のベンチマークでMAMLおよび他のSOTAベースラインを上回る高い正確性と優れた汎化性能を達成することが確認された。
• 本手法はドメインシフトに対して強く耐性を示し、特にデータが極めて限られた少数ショットシナリオにおいて顕著な優位性を示した。