[論文レビュー] Adversarial Robustness Against the Union of Multiple Perturbation Models

Pratyush Maini, Eric Wong+1 more|arXiv (Cornell University)|Sep 9, 2019

Adversarial Robustness in Machine Learning参考文献 22被引用数 44

ひとこと要約

本論文は Multi Steepest Descent (MSD) を導入する。PGD ベースの敵対的訓練手法で、複数の摂動モデルの結合（L_inf、L2、L1）の最悪ケース損失を最適化し、MNIST と CIFAR-10 の同時ロバスト性を向上させる。

ABSTRACT

Owing to the susceptibility of deep learning systems to adversarial attacks, there has been a great deal of work in developing (both empirically and certifiably) robust classifiers. While most work has defended against a single type of attack, recent work has looked at defending against multiple perturbation models using simple aggregations of multiple attacks. However, these methods can be difficult to tune, and can easily result in imbalanced degrees of robustness to individual perturbation models, resulting in a sub-optimal worst-case loss over the union. In this work, we develop a natural generalization of the standard PGD-based procedure to incorporate multiple perturbation models into a single attack, by taking the worst-case over all steepest descent directions. This approach has the advantage of directly converging upon a trade-off between different perturbation models which minimizes the worst-case performance over the union. With this approach, we are able to train standard architectures which are simultaneously robust against $\ell_\infty$, $\ell_2$, and $\ell_1$ attacks, outperforming past approaches on the MNIST and CIFAR10 datasets and achieving adversarial accuracy of 47.0% against the union of ($\ell_\infty$, $\ell_2$, $\ell_1$) perturbations with radius = (0.03, 0.5, 12) on the latter, improving upon previous approaches which achieve 40.6% accuracy.

研究の動機と目的

• 単一ノルムではなく、複数の摂動モデルに対する頑健性を動機づける。
• データセット間での従来の多重摂動防御の一貫性の欠如を示す。
• 結合全体の最悪ケース損失を直接最小化する統一的な MSD 敵対的訓練手法を提案する。
• MNIST および CIFAR-10 における過去手法より実証的な改善を示す。

提案手法

• 内側の最大化を摂動モデルの結合 Delta_S に一般化する。
• 各反復でノルムごとの最も急降下方向を統合する MSD を導入する。
• MSD を、各反復で、S のすべての p に対して損失を最大化する摂動方向を選択する形で定式化する。
• 訓練用の標準 PGD 敵対的手法の代替として MSD をドロップイン置換として提供する。
• MSD を単純な Max および Avg 集約戦略と比較し、頑健性のトレードオフを分析する。
• 著者リポジトリに実装が公開されている。

実験結果

リサーチクエスチョン

• RQ1 統一的な敵対的訓練手順は、摂動モデルの結合（L_inf、L2、L1）の最悪ケース損失を最小化できるか。
• RQ2 複数の摂動の単純な集約（Max、Avg）は、最適でないまたはデータセット依存のトレードオフを生むか。
• RQ3 MSD は MNIST および CIFAR-10 で、以前の手法より複数の摂動モデルに対する最悪ケースのロバスト性を改善するか。

主な発見

• MSD は MNIST で (L_inf, L2, L1) の結合摂動に対する最悪ケースのロバスト性が Max および Avg より高く、epsilon(0.3, 2.0, 10) に対する adversarial accuracy が 58.4% である。
• MSD は (L_inf, L2, L1) の結合摂動に対して頑健な初の CIFAR-10 モデルを得られ、(0.03, 0.5, 12) で 47.0% の adversarial accuracy を達成した。
• 同じ結合脅威モデルの下で、MSD は MNIST で最大 42.1%、CIFAR-10 で 40.6% の堅牢性精度に達する従来手法を上回る。
• Max および Avg アプローチは勾配なし攻撃に対する勾配マスキングの脆弱性を示し、MSD なしの多重摂動訓練の不安定性を浮き彫りにする。
• MSD は降下方向のステップサイズを調整することで摂動モデル間のバランスを調整でき、Max/Avg より信頼性を向上させる。