[論文レビュー] Mitigating Advanced Adversarial Attacks with More Advanced Gradient Obfuscation Techniques

Han Qiu, Yi Zeng+4 more|arXiv (Cornell University)|May 27, 2020

Adversarial Robustness in Machine Learning参考文献 46被引用数 14

ひとこと要約

本論文は、BPDAおよびEOTという最先端の勾配ベース攻撃を無効化する2つの高度な前処理関数を提案する。これらの関数は、攻撃の根本的仮定をくつがえす4つの鍵となる性質を満たすことで実現される。攻撃成功率は、何十時間ものGPU計算時間を要しても7%未満に抑えられ、11のSOTA防御よりも優れた耐性と精度を達成している。

ABSTRACT

Deep Neural Networks (DNNs) are well-known to be vulnerable to Adversarial Examples (AEs). A large amount of efforts have been spent to launch and heat the arms race between the attackers and defenders. Recently, advanced gradient-based attack techniques were proposed (e.g., BPDA and EOT), which have defeated a considerable number of existing defense methods. Up to today, there are still no satisfactory solutions that can effectively and efficiently defend against those attacks. In this paper, we make a steady step towards mitigating those advanced gradient-based attacks with two major contributions. First, we perform an in-depth analysis about the root causes of those attacks, and propose four properties that can break the fundamental assumptions of those attacks. Second, we identify a set of operations that can meet those properties. By integrating these operations, we design two preprocessing functions that can invalidate these powerful attacks. Extensive evaluations indicate that our solutions can effectively mitigate all existing standard and advanced attack techniques, and beat 11 state-of-the-art defense solutions published in top-tier conferences over the past 2 years. The defender can employ our solutions to constrain the attack success rate below 7% for the strongest attacks even the adversary has spent dozens of GPU hours.

研究の動機と目的

• BPDAおよびEOTのような高度な勾配ベース攻撃に対して、現在の防御がほとんど破壊されているという深刻な防御ギャップを埋めること。
• BPDAおよびEOTが成功する原因となる、現在の勾配遮断防御における根本的欠陥を特定すること。
• 勾配ベース攻撃の根幹にある仮定をくつがえすことで、攻撃を不可能にするために4つの新しい性質を満たす前処理関数を設計すること。
• 高いモデル精度を維持しつつ、標準的および高度な対抗的攻撃に対して強い耐性を発揮すること。

提案手法

• 著者らは、BPDAおよびEOT攻撃に対して耐性を持つために前処理関数が満たすべき4つの鍵となる性質を同定した：(1) 入力近似下での微分不能性、(2) 入力置換による近似不能性、(3) 平均化下での確率的でなさ、および (4) 変換下での同定不能性。
• 非微分可能かつ非確率的変換を統合することで、4つの性質をすべて満たす2つの新しい前処理関数（FDおよびRDG）を設計した。
• これらの関数は主なDNNモデルの前処理として適用され、勾配ベース攻撃がBPDAやEOTによって勾配を信頼性高く推定できなくなるようにする。
• モデルの再訓練やパラメータ変更を避けることで、モデルパラメータの機密性を保ち、攻撃表面を最小限に抑える。
• 本手法は前処理ベースであり、既存のモデルと互換性があるため、再訓練なしに展開可能である。
• 本手法は複数のデータセットおよび攻撃タイプ（白ボックス設定下の標準的および高度な攻撃を含む）で評価された。

実験結果

リサーチクエスチョン

• RQ1 BPDAおよびEOT攻撃の根幹にある仮定をくつがえすことで、前処理関数を設計し、それらの攻撃を無効化できるか？
• RQ2 勾配ベースの対抗的攻撃に対して耐性を持つために、前処理関数が満たすべき具体的な性質は何か？
• RQ3 既存の防御がなぜBPDAおよびEOTに失敗するのか、そしてそれらが共有する根本的欠陥は何か？
• RQ4 高いクリーン精度を維持しつつ、高度な攻撃に対して強い耐性を発揮できる防御は可能か？
• RQ5 4つの提案された性質をすべて満たす単一の統合型前処理関数を設計することは可能か？

主な発見

• 提案されたFD+RDG防御は、攻撃者が何十時間ものGPU計算時間を費やしても、攻撃成功率を7%未満に抑えることができ、既存の防御を著しく上回る。
• $l_2$-有界摂動（0.05）下でも58%のモデル精度を維持しており、テストされた11のSOTA防御すべてを上回っている。
• すべての先行防御は、4つの提案された性質をすべて満たしておらず、これがBPDAおよびEOTに対する脆弱性の理由である。
• FD+RDG防御は、BPDAおよびEOT攻撃の両方に対して同時に耐性を示しており、包括的な評価で確認された。
• 先行手法とは異なり、敵対的訓練と組み合わせても効果を発揮し続ける。
• 同定された4つの性質は耐性にとって不可欠であり、特に#2、#3、#4を満たす防御は、著しく優れた耐性を示す。