[論文レビュー] Machine vs Machine: Defending Classifiers Against Learning-based Adversarial Attacks.

Jihun Hamm|arXiv (Cornell University)|Nov 12, 2017

Adversarial Robustness in Machine Learning被引用数 3

ひとこと要約

この論文は、敵対的攻撃と防御をゲーム理論的枠組みとして定式化し、感度ペナルティを用いたベスト・ワースト・ケース防御および攻撃を提案する。学習ベースの攻撃の有効性を示し、敵対的攻撃とプライバシー攻撃の密接な関連性を明らかにし、MNISTおよびCIFAR-10で結果を検証する。

ABSTRACT

Recently, researchers have discovered that the state-of-the-art object classifiers can be fooled easily by small perturbations in the input unnoticeable to human eyes. Several methods were proposed to craft adversarial examples, as well as methods of robustifying the classifier against such examples. An attacker with the knowledge of the classifier parameters can generate strong adversarial patterns. Conversely, a classifier with the knowledge of such patterns can be trained to be robust to them. The cat-and-mouse game nature of the attacks and the defenses raises the question of the presence of an equilibrium in the dynamic. In this paper, we propose a game framework to formulate the interaction of attacks and defenses and present the natural notion of the best worst-case defense and attack. We propose simple algorithms to numerically find those solutions motivated by sensitivity penalization. In addition, we show the potentials of learning-based attacks, and present the close relationship between the adversarial attack and the privacy attack problems. The results are demonstrated with MNIST and CIFAR-10 datasets.

研究の動機と目的

• 敵対的攻撃と防御の動的相互作用をゲーム理論的問題として形式化すること。
• 最悪ケースの最良防御および攻撃を定義・計算し、最適な敵対的条件下でのロバストネスを保証すること。
• 学習ベースの攻撃がより効果的な敵対的例を生成する可能性を調査すること。
• 敵対的攻撃とプライバシー攻撃の間の理論的および実用的関係を解明すること。
• 感度ペナルティを用いて均衡解を数値的に扱える枠組みを提供すること。

提案手法

• 攻撃・防御の相互作用をミニマックスゲームとして定式化し、最悪ケースのロバストネス状況をモデル化する。
• 感度ペナルティを正則化手法として導入し、最悪ケースの摂動に対して耐性を持つ分類器の学習を可能にする。
• 数値的に最良の最悪ケース攻撃および防御戦略を近似する反復的アルゴリズムを提案する。
• 勾配ベースの最適化を活用し、摂動制約下で分類器の損失を最大化する敵対的例を生成する。
• 標準ベンチマークにフレームワークを適用し、MNISTおよびCIFAR-10を用いて実証的妥当性を検証する。
• 機械学習における敵対的ロバストネスとプライバシー保護の間の概念的および分析的類似性を示す。

実験結果

リサーチクエスチョン

• RQ1 ゲーム理論的枠組みは、敵対的攻撃と防御の均衡を原理的かつ一貫してモデル化できるか？
• RQ2 敵対的摂動下で、最良の最悪ケース防御および攻撃とは何か？
• RQ3 学習ベースの攻撃は、感度ペナルティで訓練されたロバストな分類器を回避するのにどの程度効果的か？
• RQ4 敵対的攻撃とプライバシー攻撃の間には、理論的および実用的関係があるか？
• RQ5 感度ペナルティは、敵対的訓練において数値的に安定かつロバストな解をもたらすか？

主な発見

• 提案されたゲーム理論的枠組みは、最良の最悪ケース防御および攻撃を的確に同定し、原理的均衡解を提供する。
• 感度ペナルティにより、最悪ケースの敵対的摂動に対して耐性を持つ分類器の学習が可能となり、攻撃下での一般化性能が向上する。
• 学習ベースの攻撃は、攻撃者がモデルの完全な知識を持つ場合に特に、従来手法を上回る効果的な敵対的例を生成する。
• 敵対的ロバストネスとプライバシー保護の間には強い概念的および分析的関連性が確立され、共通の防御メカニズムの可能性が示唆される。
• MNISTおよびCIFAR-10における実証的結果は、フレームワークの有効性を検証し、敵対的条件下でのロバストネス向上を示している。
• フレームワークは、敵対的例に対するロバストネスが、本質的にプライバシー攻撃への耐性を向上させることを示しており、二重目的の防御設計の可能性を示している。