[論文レビュー] Machine vs Machine: Minimax-Optimal Defense Against Adversarial Examples

Jihun Hamm, Mehra, Akshay|arXiv (Cornell University)|Nov 12, 2017

Adversarial Robustness in Machine Learning参考文献 27被引用数 4

ひとこと要約

この論文は、攻撃者と防御者との間の2人零和ゲームとして敵対的サンプル防御を定式化し、勾配ベースおよびニューラルネットワークベースの攻撃に対して堅牢な分類器を求めるためのミニマックス最適化フレームワークを提案する。MNISTおよびCIFAR-10における実験では、ミニマックス最適化された防御が非ミニマックス防御を上回る堅牢性を示し、適応的攻撃者に対するゲーム理論的防御設計の優位性を裏付けている。

ABSTRACT

Recently, researchers have discovered that the state-of-the-art object classifiers can be fooled easily by small perturbations in the input unnoticeable to human eyes. It is also known that an attacker can generate strong adversarial examples if she knows the classifier parameters. Conversely, a defender can robustify the classifier by retraining if she has access to the adversarial examples. We explain and formulate this adversarial example problem as a two-player continuous zero-sum game, and demonstrate the fallacy of evaluating a defense or an attack as a static problem. To find the best worst-case defense against whitebox attacks, we propose a continuous minimax optimization algorithm. We demonstrate the minimax defense with two types of attack classes -- gradient-based and neural network-based attacks. Experiments with the MNIST and the CIFAR-10 datasets demonstrate that the defense found by numerical minimax optimization is indeed more robust than non-minimax defenses. We discuss directions for improving the result toward achieving robustness against multiple types of attack classes.

研究の動機と目的

• 敵対的攻撃と防御の動的で相互作用的な性質に焦点を当て、これらがしばしば独立して評価されるのではなく、ペアとして評価されるべきであることを目的とする。
• 攻撃者と防御者をゼロ和ゲームのプレイヤーとしてモデル化し、敵対的防御を連続的ミニマックス最適化問題として定式化すること。
• 勾配ベースおよびニューラルネットワークベースの攻撃を含む特定の攻撃クラスに対して堅牢なミニマックス最適分類器を数値的に実行可能に計算する手法を開発すること。
• ミニマックス最適化された防御が標準的な敵対的訓練よりも一般化性能に優れており、強力で適応的攻撃に対してもより堅牢であることを示すこと。
• 敵対的攻撃とプライバシー保護型データ変換の間の双対性を調査し、共通の数学的基盤を示すこと。

提案手法

• 敵対的防御問題を連続的ミニマックス最適化として定式化：min_u max_z f(u, z)，ここでuは分類器パラメータ、zは敵対的摂動である。
• 2つの攻撃クラスをモデル化：勾配ベース攻撃（例：FGSM, IFGSM）および敵対的摂動を生成するために訓練されたニューラルネットワークベース攻撃。
• ミニマックス問題を解くために反復的最適化を用い、敵対的サンプル生成（攻撃）と分類器再訓練（防御）を交互に実行する。
• 固定型攻撃（例：FGSM）および学習ベース攻撃（例：2層全結合ネットワーク）の両方にミニマックスフレームワークを適用し、堅牢な分類器を同定する。
• 複合攻撃クラスを扱うために、組み合わせたミニマックス目的関数を導入：min_u max{f(u,z₁(u)), ..., f(u,zₘ(u)), max_v f(u,z_{m+1}(u,v)), ...}。
• 公開防御と適応的攻撃の順序的性質をモデル化するためにリーダーフォロワーゲーム構造を活用する。

実験結果

リサーチクエスチョン

• RQ1 敵対的防御を、静的分類問題ではなく、攻撃者と防御者の2人ゲームとして意味的に明確に定式化できるか？
• RQ2 強力で適応的攻撃に対して、ミニマックス最適化防御は標準的な敵対的訓練と比較して堅牢性に優れているか？
• RQ3 ミニマックス防御の文脈において、ニューラルネットワークベース攻撃は勾配ベース攻撃よりも顕著に強力で多様であるか？
• RQ4 複合ミニマックス問題を解くことで、1つの防御が複数の攻撃クラスに対して堅牢に機能できるか？
• RQ5 ゲーム理論的定式化の観点から、敵対的防御とプライバシー保護型データ変換の関係は何か？

主な発見

• ミニマックス最適化された防御は、MNISTおよびCIFAR-10の両方で非ミニマックス防御を上回り、強力な攻撃に対して優れた堅牢性を示した。
• ニューラルネットワークベース攻撃は、実験的に勾配ベース攻撃よりも強力で多様であり、堅牢な防御設計において考慮すべきである。
• ミニマックスフレームワークは、攻撃クラスが複雑または学習された場合でも、与えられたクラス内での最悪の攻撃に対して堅牢な防御を的確に同定できた。
• 本研究では、防御を独立して評価すると、攻撃の有効性がその防御に強く依存するため、誤った結論に至る可能性があることが明らかになった。
• ミニマックスアプローチは、適応的でホワイトボックス攻撃に対して耐性を持つ分類器を設計するための原理的枠組みを提供した。
• 敵対的攻撃とプライバシー保護型攻撃の間には数学的に同等の双対性があり、両者の問題に対して共通の最適化戦略が適用可能であることを示唆している。