[論文レビュー] Repurposing Pretrained Models for Robust Out-of-domain Few-Shot Learning

Namyeong Kwon, Hwidong Na+2 more|arXiv (Cornell University)|Mar 16, 2021

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 6

ひとこと要約

本稿では、元のメタトレーニングデータにアクセスできない状況下でも、事前学習済みMAMLのチェックポイントを再利用してドメイン外の少样本学習を実現する手法を提案する。深部アンサンブルによる不確実性推定を活用し、学習率を適応的にスケーリングするとともに、タスク固有の adversarial 例を生成することで、SGDおよびAdam最適化手法を用いた同じドメインおよびクロスドメインのベンチマークにおいて、精度とロバスト性の両方を向上させる。

ABSTRACT

Model-agnostic meta-learning (MAML) is a popular method for few-shot learning but assumes that we have access to the meta-training set. In practice, training on the meta-training set may not always be an option due to data privacy concerns, intellectual property issues, or merely lack of computing resources. In this paper, we consider the novel problem of repurposing pretrained MAML checkpoints to solve new few-shot classification tasks. Because of the potential distribution mismatch, the original MAML steps may no longer be optimal. Therefore we propose an alternative meta-testing procedure and combine MAML gradient steps with adversarial training and uncertainty-based stepsize adaptation. Our method outperforms "vanilla" MAML on same-domain and cross-domains benchmarks using both SGD and Adam optimizers and shows improved robustness to the choice of base stepsize.

研究の動機と目的

• プライバシー、ライセンス、リソース制約のため、メタトレーニングデータにアクセスできない現実世界のシナリオにおいて少样本モデルを展開する課題に対処すること。
• 標準MAMLの性能を低下させる、メタトレーニングとメタテストのタスク間での分布シフトの問題を克服すること。
• 再トレーニングが不可能な状況下で、ベース学習率などのハイパーパramータ選択に対するロバスト性を向上させること。
• 標準的な勾配ステップを超えてMAMLを適応させるメタテスト手順を開発し、不確実性と adversarial データ拡張を統合すること。
• 再トレーニングなしに、不確実性に配慮した適応と adversarial 学習が、少样本学習における一般化性能の向上に寄与することを実証すること。

提案手法

• メタテスト中にサポートセットに深部アンサンブルを適用し、モデルパラメータの不確実性と入力勾配の不確実性を推定する。
• パラメータごとの不確実性の逆数に比例してMAMLの学習率をスケーリングすることで、高不確実性の成分に対しては更新を抑制する。
• 入力勾配の不確実性を用いてタスク固有の adversarial 例を生成し、適応段階でのロバスト性を向上させる。
• 入力勾配の不確実性が大きい入力に対して、摂動を大きくする不確実性誘導型 adversarial 学習（UFGSM）を適用する。
• 不確実性に基づくステップサイズ適応と adversarial データ拡張を統合し、標準MAMLとは異なる修正されたメタテスト手順を構築する。
• メタテスト中にバッチ正規化層を凍結し、高不確実性の層が大きな更新に対して感受的であるという仮説を検証する。

実験結果

リサーチクエスチョン

• RQ1 再トレーニングが不可能な状況下で、深部アンサンブルからの不確実性推定がメタテスト性能を向上させ得るか？
• RQ2 不確実性に基づく適応的学習率スケジューリングは、少样本学習におけるベース学習率選択に対するロバスト性を向上させるか？
• RQ3 入力勾配の不確実性から生成されたタスク固有の adversarial 例は、ドメイン外少样本タスクにおける一般化性能を向上させるか？
• RQ4 本手法は、SGDおよびAdam最適化手法、およびさまざまなデータセットにおいて、vanilla MAMLと比較して精度とロバスト性で優れているか？
• RQ5 バッチ正規化層を高不確実性の層としてメタテスト中に凍結することは、安定性と性能の向上に寄与するか？

主な発見

• 提案手法は、同じドメインおよびクロスドメインの少样本ベンチマークにおいて、vanilla MAMLを上回り、すべての指標で高い精度を達成した。
• 5-way 1-shot MiniImageNetベンチマークでは、SGD+USA+UFGSMで38.71%の精度を達成したのに対し、標準的なFGSMでは36.97%であった。不確実性に基づく adversarial 学習の有効性が示された。
• Adam最適化手法を用いた場合、Flowersデータセットでトップ1精度44.58%を達成し、ベースライン（40.33%）を上回り、最適化手法全体にわたるロバスト性の向上が確認された。
• メタテスト中にバッチ正規化層を凍結したことで、All指標における性能が向上し、特にベース学習率が0.1より大きい場合に顕著であった。高不確実性の成分に対する更新のリスクが裏付けられた。
• ベース学習率の選択に対するロバスト性が一貫して向上し、広い範囲の学習率で安定した性能を示した。
• 実験的アブレーションにより、高不確実性パラメータに対して大きなステップサイズを適用する、または高不確実性勾配に対する adversarial 摂動を小さくすると、精度が低下し、ロバスト性も低下することが確認された。