[論文レビュー] Mixup Inference: Better Exploiting Mixup to Defend Adversarial Attacks

Tianyu Pang, Kun Xu+1 more|arXiv (Cornell University)|Sep 25, 2019

Adversarial Robustness in Machine Learning参考文献 43被引用数 42

ひとこと要約

論文は Mixup Inference (MI) を提案します。これは mixup で訓練されたモデルの推論時手続きで、グローバルな直線性を積極的に活用して摂動を縮小・転送し、さまざまな脅威モデル下で堅牢性と検出性能を向上させます。

ABSTRACT

It has been widely recognized that adversarial examples can be easily crafted to fool deep networks, which mainly root from the locally non-linear behavior nearby input examples. Applying mixup in training provides an effective mechanism to improve generalization performance and model robustness against adversarial perturbations, which introduces the globally linear behavior in-between training examples. However, in previous work, the mixup-trained models only passively defend adversarial attacks in inference by directly classifying the inputs, where the induced global linearity is not well exploited. Namely, since the locality of the adversarial perturbations, it would be more efficient to actively break the locality via the globality of the model predictions. Inspired by simple geometric intuition, we develop an inference principle, named mixup inference (MI), for mixup-trained models. MI mixups the input with other random clean samples, which can shrink and transfer the equivalent perturbation if the input is adversarial. Our experiments on CIFAR-10 and CIFAR-100 demonstrate that MI can further improve the adversarial robustness for the models trained by mixup and its variants.

研究の動機と目的

• 推論時に mixup 訓練モデルの堅牢性のギャップを動機づけ、それらのグローバルな直線性を defense に活用することを目指す。
• 推論時に clean なサンプルとミックスすることで入力を積極的に処理する Mixup Inference (MI) を導入する。
• 2つの MI バリアント (MI-PL および MI-OL) を分析し、堅牢性改善 (RIC) および検出ギャップ (DG) の理論条件を提供する。
• MI が CIFAR-10/100 で敵対的堅牢性を向上させ、mixup のバリアントや插入的敵対訓練と互換性を持つことを実証する。

提案手法

• MI は入力と clean サンプルの複数回のランダムなミックスアップを行い、分類器の出力を平均する (E_{p_s}[F(tilde{x})] のモンテカルロ近似)。
• 2つのMIバリアント: MI-PL は予測ラベルをミックスアップのターゲットとして用い、MI-OL は他のラベルをミックスアップのターゲットとして用いる。
• このアプローチは2つのメカニズムに依存する: 入力転送 (乱択的で意味的に多様な摂動) と 摂動縮小 (λ による敵対摂動のスケールダウン)。
• MI が 真のラベルスコアを増加させ、MI 後に敵対スコアを減少させる条件として、堅牢性を改善する条件 (RIC) を定義する。
• 検出指標 (DG) は、MI による上位予測クラスの変化を通じて敵対入力を検出する MI の能力を測定する。

実験結果

リサーチクエスチョン

• RQ1 MI (Mixup Inference) は推論時に mixup 訓練モデルの敵対的堅牢性をさらに改善できるか？
• RQ2 MI-PL と MI-OL は異なる堅牢性・検出プロファイルを提供し、どの条件で堅牢性改善および検出利得基準を満たすか？
• RQ3 CIFAR-10/100 で、既存の mixup ベースの防御や interpolated adversarial training と実務上どのように相互作用するか？
• RQ4 MI の有効性を、 oblivious および adaptive な両方の敵に対して説明する理論的保証や直感は何か？

主な発見

• MI は推論時のグローバルな直線性を積極的に利用することにより、mixup 訓練モデルの堅牢性をさらに向上させることができる。
• MI は clean なサンプルとの複数のミックスアップを介して、摂動縮小と入力転送を可能にし、敵対者の妨害を減少させる。
• MI-PL は、untargeted PGD 攻撃の下で一般により強い堅牢性と検出を提供し、ベースラインに対して実証的に大幅な堅牢性向上を示す。
• MI-OL は特定の攻撃下でより広範な堅牢性を提供し、MI-PL に相当する検出ギャップを示す場合があるが、実務上は多くのケースで MI-PL を優る。
• interpolated adversarial training と組み合わせた場合、MI は依然として効果的で互換性を保ち、訓練時の防御だけを超える堅牢性を高める。