[論文レビュー] Adversarial Meta-Learning

Chengxiang Yin, Jian Tang+2 more|arXiv (Cornell University)|Jun 8, 2018

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 30

ひとこと要約

本稿では、敵対的サンプルとクリーンなサンプルの両方を用いて、敵対的訓練メカニズムを通じてモデル初期化を共同最適化する、新しい敵対的メタラーニングフレームワークADMLを提案する。ADMLは、少数ショット学習タスクにおいて、MAML や他のメタラーナーを上回る優れた耐性と正確性を達成しており、顕著な敵対的摂動に対しても、クリーンデータ上の強力なパフォーマンスを維持している。

ABSTRACT

Meta-learning enables a model to learn from very limited data to undertake a new task. In this paper, we study the general meta-learning with adversarial samples. We present a meta-learning algorithm, ADML (ADversarial Meta-Learner), which leverages clean and adversarial samples to optimize the initialization of a learning model in an adversarial manner. ADML leads to the following desirable properties: 1) it turns out to be very effective even in the cases with only clean samples; 2) it is robust to adversarial samples, i.e., unlike other meta-learning algorithms, it only leads to a minor performance degradation when there are adversarial samples; 3) it sheds light on tackling the cases with limited and even contaminated samples. It has been shown by extensive experimental results that ADML consistently outperforms three representative meta-learning algorithms in the cases involving adversarial samples, on two widely-used image datasets, MiniImageNet and CIFAR100, in terms of both accuracy and robustness.

研究の動機と目的

• 少数ショット学習における既存のメタラーニングアルゴリズムが敵対的サンプルに対して脆弱であるという問題に取り組む。
• クリーンデータおよび敵対的データの両条件においても高いパフォーマンスを維持できるメタラーナーを開発する。
• 敵対的サンプルをメタトレーニング中の正則化信号として用いる可能性を検討する。
• 限られたデータや汚染されたデータがある実世界のシナリオにおける少数ショット学習のソリューションを提供する。

提案手法

• 内側の勾配更新とメタ更新が敵対的「腕比べ」を繰り広げることで、モデル初期化を精緻化する二重最適化プロセスをADMLが採用する。
• メタトレーニング中にクリーンなサンプルと敵対的サンプルの両方を活用し、頑健な初期パラメータ分布を学習する。
• 任意の勾配降下法で訓練可能な微分可能なモデルと互換性があるモデルに依存しない。
• 初期パラメータを最適化するためのミニマックス定式化を用いることで、新しいタスクに敵対的入力が存在しても、迅速かつ信頼性高く適応できるようにする。
• 標準的なメタラーニング損失に加え、敵対的摂動制約を組み合わせることで、耐性を強化する。
• MiniImageNet や CIFAR100 といった標準的な少数ショットベンチマークを用い、さまざまなレベルの敵対的ノイズ下でフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 クリーンデータ上のパフォーマンスを損なうことなく、メタラーニングモデルを敵対的サンプルに対して耐性を持たせることは可能か？
• RQ2 クリーンなサンプルと敵対的サンプルの両方を共同で最適化することで、メタラーナーの一般化性能がどのように向上するか？
• RQ3 メタラーニング中に敵対的訓練を実施することで、標準的なメタラーニングや敵対的ファインチューニングに比べ、より優れた初期化が得られるか？
• RQ4 ADMLは、訓練データに敵対的例が含まれている場合でも、どの程度のパフォーマンスを維持できるか？

主な発見

• ADMLは、MiniImageNet および CIFAR100 におけるすべてのテスト設定で、MAML、マッチングネットワーク、リレーションネットワークを上回り、正確性と耐性の両面で一貫した優位性を示している。
• 敵対的摂動が ε=0.2 から ε=2 に増加した場合、MAML は最大で13.50%のパフォーマンス低下を示したが、ADML はわずかな低下にとどまった。
• ε=2 の5ウェイ1ショット学習において、ADML は MiniImageNet でトップ1正確度59.38%を達成し、1ショット学習と比較して17.96%の向上を示した。
• ADML の損失は数回の勾配更新内で急激に低下し、MAML や MAML-AD よりも低い値に安定化するため、より速く安定した適応が可能であることが示された。
• 訓練データに敵対的サンプルが含まれても、高いパフォーマンスを維持しており、データ汚染に対する強い耐性を示している。
• クリーンデータ上でもパフォーマンスの低下が最小限に抑えられており、敵対的例が存在しない状況でも効果的であることが証明された。