[論文レビュー] Adversarially Robust Few-Shot Learning: A Meta-Learning Approach

Micah Goldblum, Liam Fowl+1 more|arXiv (Cornell University)|Oct 2, 2019

Adversarial Robustness in Machine Learning参考文献 33被引用数 42

ひとこと要約

本論文は Adversarial Querying (AQ) を導入する。アルゴリズム非依存のメタ学習法で、敵対的攻撃に対して頑健な few-shot モデルを生成し、標準的なベンチマークで頑健な転移学習を上回る。

ABSTRACT

Previous work on adversarially robust neural networks for image classification requires large training sets and computationally expensive training procedures. On the other hand, few-shot learning methods are highly vulnerable to adversarial examples. The goal of our work is to produce networks which both perform well at few-shot classification tasks and are simultaneously robust to adversarial examples. We develop an algorithm, called Adversarial Querying (AQ), for producing adversarially robust meta-learners, and we thoroughly investigate the causes for adversarial vulnerability. Moreover, our method achieves far superior robust performance on few-shot image classification tasks, such as Mini-ImageNet and CIFAR-FS, than robust transfer learning.

研究の動機と目的

• few-shot 学習設定における頑健性の必要性を喚起する。
• few-shot タスクに対して敵対的に頑健な特徴抽出器を生み出すメタ学習フレームワークを開発する。
• 敵対的問い合せ (AQ) が既存の防御法と比較して頑健性とクリーン精度の双方で優れることを示す。
• バックボーンを固定し、最後の層のみを微調整することで頑健性が向上することを示す。
• 複数のメタ学習バックボーンとデータセットにわたるアルゴリズム非依存の証拠を提供する。

提案手法

• min_theta E_{S,(x,y)} [ max_{||δ||_p<ε} L(F_{A(θ,S)}, x+δ, y) ] をメタ学習のミニマックス目的として公式化する。
• 敵対的問い合せ (AQ) を提案する：サポートデータ上でのファインチューニングと、損失を最大化するようにクエリデータを敵対的に摂動させることの間を交互に行い、A を通じてバックプロパゲーションする。
• AQ ではクエリデータのみを攻撃して、計算効率と頑健性の向上のバランスを取る。
• CIFAR-FS と Mini-ImageNet 上で ProtoNet、R2-D2、および MetaOptNet に渡って AQ を検証する。
• AQ を敵対的訓練転移学習および他の防御法と比較して、頑健性の向上を示す。
• AQ モデル全体を更新するのではなく、最後の層のみ再訓練することで頑健性と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 強力な敵対的攻撃に対して few-shot 設定で頑健な meta-learner を生み出すことができるか？
• RQ2 AQ はメタ学習バックボーン全体でアルゴリズム非依存か、頑健性はヘッドよりバックボーンに依存するのか？
• RQ3 AQ は few-shot の頑健性において敵対的訓練や前処理防御とどう比較されるか？
• RQ4 最後の層のみを微調整することは自然精度と頑健精度にどのような影響を与えるか？
• RQ5 AQ によって学習された頑健な特徴抽出器は、頑健に訓練された転移学習より頑健性へより良く移行するのか？

主な発見

Model	A_nat	A_adv
Naturally Trained R2-D2	73.01% ± 0.13	0.00% ± 0.13
AT transfer (R2-D2 backbone)	39.13% ± 0.13	25.33% ± 0.13
ADML	47.75% ± 0.13	18.49% ± 0.13
AQ R2-D2 (ours)	57.87% ± 0.13	31.52% ± 0.13

• AQ に基づくメタ学習器は、Mini-ImageNet および CIFAR-FS で頑健精度をより高く、自然精度も競争力のある水準を達成する。
• 自然訓練されたメタ学習器は 20 ステップの PGD 攻撃に非常に脆弱である一方、AQ は複数のバックボーンにまたがって頑健性を大幅に改善する。
• AQ ではサポートデータを摂動せずクエリデータのみを攻撃して、サポートデータを摂動するより計算コストを抑えつつ頑健性の向上を得られる。
• ファインチューニング時に最後の層のみ再訓練する方が、AQ のためにネットワーク全体を更新するより自然精度と頑健精度の両方で良い結果をもたらす。
• R2-D2 ヘッドは頑健性に顕著に寄与し、AQ モデル全体で埋め込みよりも寄与度が大きい。
• AQ は敵対的訓練を施した転移学習より検証済みデータセットとバックボーン全体で頑健性において上回る。