[論文レビュー] Fast Minimum-norm Adversarial Attacks through Adaptive Norm Constraints

Maura Pintor, Fabio Roli+2 more|arXiv (Cornell University)|Feb 25, 2021

Adversarial Robustness in Machine Learning参考文献 27被引用数 14

ひとこと要約

本稿では、最適化中に摂動制約サイズを段階的に調整することで、ℓ₀、ℓ₁、ℓ₂、ℓ∞ 範囲において最小摂動を効率的に特定する Fast Minimum-norm (FMN) adversarial 攻撃を提案する。FMN は少ない軽量なステップで収束し、既存の攻撃と比較して速度と摂動サイズの両面で優れており、同時に高い正確性を維持する。また、敵対的初期化やハイパーパramータチューニングを必要としない。

ABSTRACT

Evaluating adversarial robustness amounts to finding the minimum perturbation needed to have an input sample misclassified. The inherent complexity of the underlying optimization requires current gradient-based attacks to be carefully tuned, initialized, and possibly executed for many computationally-demanding iterations, even if specialized to a given perturbation model. In this work, we overcome these limitations by proposing a fast minimum-norm (FMN) attack that works with different $\ell_p$-norm perturbation models ($p=0, 1, 2, \infty$), is robust to hyperparameter choices, does not require adversarial starting points, and converges within few lightweight steps. It works by iteratively finding the sample misclassified with maximum confidence within an $\ell_p$-norm constraint of size $ε$, while adapting $ε$ to minimize the distance of the current sample to the decision boundary. Extensive experiments show that FMN significantly outperforms existing attacks in terms of convergence speed and computation time, while reporting comparable or even smaller perturbation sizes.

研究の動機と目的

• 既存の最小ノルム敵対的攻撃が過剰なチューニングや多数の反復、敵対的初期化を必要とする非効率性と感受性を是正すること。
• 異なる ℓₚ-ノルム制約（p=0,1,2,∞）に適用可能な統合的で高速かつ頑健な攻撃手法を開発し、摂動品質を損なわずに行うこと。
• 計算コストと収束時間を低減しつつ、最先端手法と比較して最小摂動サイズを維持または向上させること。
• 多様で安定した攻撃を提供することで、より信頼性の高い柔軟な頑健性評価を可能にし、新たな防御手法への応用を容易にすること。

提案手法

• FMN は反復的に以下の2ステップを実行する：(1) 現在の ℓₚ-ノルム制約サイズ ε 内で、誤分類の信頼度を最大化するように摂動を投影する。 (2) 決定境界への距離を最小化するように ε を動的に調整する。
• アルゴリズムは勾配に基づく更新を用いて局所的なモデル挙動を推定し、現在の ε 制約下での最適摂動を計算する。
• その後の反復で ε を動的に小さくすることで、最小ノルムの敵対的例に近づけるようにし、トレードオフのハイパーパramータを回避する。
• 初期の敵対的ポイントに依存しない設計となっており、クリーンな入力からも頑健に収束する。
• 固定された ℓ₂ 制約を動的 ℓₚ 投影に置き換えることで、DDN 攻撃を複数の ℓₚ 範囲に一般化する。
• Projected-gradient 法の高速性と境界追随戦略の最適性を組み合わせ、高い効率性と正確性を達成する。

実験結果

リサーチクエスチョン

• RQ1 敵対的初期化を必要とせず、複数の ℓₚ 範囲で高速かつ効果的な最小ノルム敵対的攻撃を実現できるか？
• RQ2 固定 ε やソフト制約手法と比較して、制約サイズの適応的調整が収束速度と摂動品質にどのように寄与するか？
• RQ3 FMN は最小摂動サイズ、計算時間、ハイパーパramータ選択に対する感受性の観点で、既存の攻撃をどの程度上回るか？
• RQ4 FMN は勾配の遮断を示す頑健なモデルに対しても効果的に適用可能か？また、このような状況下で最先端の攻撃と比較してどうなるか？

主な発見

• FMN は既存の ℓ₀、ℓ₁、ℓ∞-ノルム攻撃と比較して著しく高速な収束を達成し、計算時間も大幅に短縮され、1クエリあたり最大 3 倍の高速化を実現した。
• すべてのテストされた ℓₚ-ノルム（ℓ₂ や ℓ∞ を含む）において、最先端の攻撃と同等またはより小さな最小摂動を発見した。特に頑健なモデルに対しても同様の優位性を示した。
• ハイパーパramータの選択に強く、敵対的初期化を不要としており、信頼性と使いやすさが向上した。
• CW や BB や FAB といったソフト制約攻撃と比較して、反復回数を減らしながらも高い正確性を維持した。
• ℓ₂-ノルム攻撃において、FMN は最も優れた既存手法と同等の性能を示し、広く使われる設定において強く競争力を持つことを実証した。
• 新たな防御手法への容易な拡張性を備えており、動的かつ PGD に類似した構造のおかげで、適応的頑健性評価が可能となった。