[論文レビュー] Stronger and Faster Wasserstein Adversarial Attacks

Kaiwen Wu, Allen Wang+1 more|arXiv (Cornell University)|Aug 6, 2020

Adversarial Robustness in Machine Learning被引用数 11

ひとこと要約

本論文は、勾配降下法における正確な射影と、エントロピー滑らか化を施した高速なフランク＝ウォルフ法の2つの新しい最適化手法を提案する。これらにより、Wasserstein制約下での正確かつ効率的な計算が可能となり、攻撃の成功確率が著しく向上し、半径0.005の摂動球内においてCIFAR-10のResNet精度を65.6%から3.4%まで低下させる。また、Wasserstein攻撃モデル下でImageNetに対する初の成功した攻撃を実現する。

ABSTRACT

Deep models, while being extremely flexible and accurate, are surprisingly vulnerable to "small, imperceptible" perturbations known as adversarial attacks. While the majority of existing attacks focus on measuring perturbations under the $\ell_p$ metric, Wasserstein distance, which takes geometry in pixel space into account, has long been known to be a suitable metric for measuring image quality and has recently risen as a compelling alternative to the $\ell_p$ metric in adversarial attacks. However, constructing an effective attack under the Wasserstein metric is computationally much more challenging and calls for better optimization algorithms. We address this gap in two ways: (a) we develop an exact yet efficient projection operator to enable a stronger projected gradient attack; (b) we show that the Frank-Wolfe method equipped with a suitable linear minimization oracle works extremely fast under Wasserstein constraints. Our algorithms not only converge faster but also generate much stronger attacks. For instance, we decrease the accuracy of a residual network on CIFAR-10 to $3.4\%$ within a Wasserstein perturbation ball of radius $0.005$, in contrast to $65.6\%$ using the previous Wasserstein attack based on an \emph{approximate} projection operator. Furthermore, employing our stronger attacks in adversarial training significantly improves the robustness of adversarially trained models.

研究の動機と目的

• 近似射影演算子に依存する従来のWasserstein敵対的攻撃における計算の非効率性と性能の劣化を是正する。
• 射影勾配降下法のWasserstein制約最適化において、正確ではあるが効率的な射影手法を開発する。
• 線形最小化オракルとエントロピー滑らか化を組み合わせた高速なフランク＝ウォルフ法を設計し、Wasserstein制約下での収束を加速する。
• 敵対的訓練を用いて、より強い攻撃の有効性を実証し、敵対的ロバストネスの向上を示す。
• 従来の手法が失敗した大規模データセット（例：ImageNet）に対しても、Wasserstein攻撃の適用範囲を拡張する。

提案手法

• Wasserstein敵対的攻撃を、質量再配分と摂動予算制約を組み込んだ結合行列上の容量制約付きユークリッド射影問題に再定式化する。
• 双対射影法を提案し、双対変数λとμの交互最大化により制約付き最適化を解く。ブisection法とネステロフ加速勾配上昇を用いる。
• エントロピー滑らか化を活用し、Wasserstein制約下での降下方向を高速かつスケーラブルに計算可能な線形最小化オラクルを導入する。
• 効率的な単形類似射影と双対変数更新により双対問題を解くことで、双対射影アルゴリズムを線形収束率で実装する。
• 両手法をそれぞれPGDおよびFWフレームワークに統合し、Wasserstein距離に基づく高精度・高速な敵対的例の生成を実現する。
• 強力な攻撃を敵対的訓練に適用し、モデルのロバストネス向上を示す。提案手法の有用性が評価を超えて防御研究にも応用可能であることを実証する。

実験結果

リサーチクエスチョン

• RQ1 Wasserstein制約付き敵対的攻撃において、近似手法に比べて攻撃強度を向上させる正確な射影演算子を設計可能か？
• RQ2 効率的な線形最小化オラクルを備えたフランク＝ウォルフ法を、Wasserstein敵対的攻撃における収束加速に適応可能か？
• RQ3 提案手法は、Wasserstein攻撃モデル下でImageNetのような大規模データセットに対しても効果的な敵対的例を生成可能か？
• RQ4 より強いWasserstein攻撃は、敵対的訓練されたモデルのロバストネスをどの程度向上させるか？
• RQ5 Wasserstein距離がピクセル質量の移動を捉える幾何的性質は、ℓpノルムに比べて、より自然で効果的な敵対的例を生み出すメカニズムとなるか？

主な発見

• 双対定式化における提案された正確な射影法は線形収束を達成し、攻撃品質を著しく向上させ、Wasserstein半径0.005の条件下でCIFAR-10のResNet精度を3.4%まで低下させた。
• 従来の最先端のWasserstein攻撃（射影Sinkhornに基づく）は、同じ摂動予算下で65.6%の精度であったため、攻撃強度の顕著な向上が確認された。
• エントロピー滑らか化を施したフランク＝ウォルフ法は、高速な収束と効率的な計算を実現し、大規模応用に適している。
• 提案された攻撃は、Wasserstein攻撃モデル下でImageNetに対して敵対的例を生成した初の試みである。
• 敵対的訓練に適用した場合、より強力な攻撃はモデルのロバストネスを著しく向上させ、その防御研究における有用性が裏付けられた。
• 合成実験により、両アルゴリズムが高精度の解に収束することが確認された。双対射影法は正確な収束を達成し、フランク＝ウォルフ法は線形収束率を示した。