[論文レビュー] Meta-Learning Requires Meta-Augmentation

Janarthanan Rajendran, Alex Irpan+1 more|arXiv (Cornell University)|Jul 10, 2020

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 37

ひとこと要約

本論文はメタ-augmentation（メタ拡張）という情報理論的枠組みを導入し、ラベル（入力ではなく）にランダム性を追加して memorization と learner overfitting を抑制することで、few-shot ベンチマークで高い改善を示す。

ABSTRACT

Meta-learning algorithms aim to learn two components: a model that predicts targets for a task, and a base learner that quickly updates that model when given examples from a new task. This additional level of learning can be powerful, but it also creates another potential source for overfitting, since we can now overfit in either the model or the base learner. We describe both of these forms of metalearning overfitting, and demonstrate that they appear experimentally in common meta-learning benchmarks. We then use an information-theoretic framework to discuss meta-augmentation, a way to add randomness that discourages the base learner and model from learning trivial solutions that do not generalize to new tasks. We demonstrate that meta-augmentation produces large complementary benefits to recently proposed meta-regularization techniques.

研究の動機と目的

• メタ学習が二つのレベルで過適合し得ることを動機づけ、公式化する：モデル側の memorization とベースラーナー側の learner overfitting。
• ラベルへランダム性を注入することでタスク分布を多様化し、サポートセットへの依存を必要とする手段としての meta-augmentation を提案する。
• CEを増加させる拡張が過適合を低減し、既存のメタ正則化手法を補完する情報理論的視点を提供する。
• few-shot 画像分類と回帰ベンチマークを横断してメタ拡張を実証的に検証し、正則化との相互作用を分析する。

提案手法

• CE保持拡張とCE増加拡張をメタ学習設定で定義する。
• ラベルを暗号化するランダムビット epsilon によってタスク分布を広げる形でメタ拡張をモデル化し、サポートデータへの依存を強制する。
• 可逆写像の下で CE増加拡張が条件付きエントロピー H(Y'|X) を H(epsilon) 増加させることを理論的に示す。
• テスト時に Y' を回復するには、学習者が (x_s, y'_s) から情報を抽出する必要があり、memorization overfitting を減少させることを示す。
• CE増加拡張を適用して非相互排他的なタスクを相互排他的なものへと変換し、ベースラーナーへの依存度を高める。

実験結果

リサーチクエスチョン

• RQ1 非相互排性的なメタ学習タスクは memorization を生み出すのか、また meta-augmentation はそれをどう緩和できるのか。
• RQ2 CE増加メタ拡張は memorization overfitting と learner overfitting の両方を、ベンチマーク全体で低減できるか。
• RQ3 既存のメタ正則化手法（例：情報ボトルネック）や異なるメタ学習アルゴリズムと meta-augmentation はどのように相互作用するか。
• RQ4 few-shot 分類と回帰タスクでの meta-augmentation の実証的な利得はどれほどか。
• RQ5 異なるタスクサンプリング戦略（intershuffle、intrashuffle、non-mutually-exclusive）が meta-augmentation 下で性能にどう影響するか？

主な発見

問題設定	非相互排他的精度	Intrashuffle 精度	Intershuffle 精度
Omniglot	98.1%	98.5%	98.7%
Mini-ImageNet (MAML)	30.2%	42.7%	46.0%
Mini-ImageNet (Prototypical)	32.5%	32.5%	37.2%
Mini-ImageNet (Matching)	33.8%	33.8%	39.8%
D’Claw	72.5%	79.8%	83.1%

• Meta-augmentation は複数のベンチマーク（Omniglot、Mini-ImageNet、D’Claw）で非拡張ベースラインを大幅に上回る改善をもたらす。
• 非相互排他的タスクは memorization と learner overfitting を示す；intershuffle（全タスクのランダム化）は両方を緩和する一方、intrashuffle は中程度の利得を示す。
• CE増加拡張は Y' の条件付きエントロピー H(Y'|X) を高め、タスク横断で Y' を予測する際にサポートデータの利用を強制する。
• CE増加メタ拡張は情報ボトネックなどのメタ正則化手法と補完的で、しばしば追加の利得をもたらす。
• 回帰タスク（Sinusoid、Pascal3D Pose）でターゲットにノイズを加えると過適合が減り、メタ一般化が向上する。
• メタ拡張によって作成される相互排他的タスク設定は MAML、CNP、その他のメタ学習器の一般化を改善し、複数のベースラインで性能向上が持続する。
• 重み減衰や正則化パラメータを変化させても、メタ拡張は memorization と learner overfitting を回避するのに役立つ。