[論文レビュー] Improved Network Robustness with Adversary Critic

Alexander Matyasko, Lap‐Pui Chau|arXiv (Cornell University)|Oct 30, 2018

Network Security and Intrusion Detection参考文献 27被引用数 8

ひとこと要約

この論文は、敵対的例をターゲットクラスの自然画像と見分けがつかなくするように訓練するGANベースの防御を提案している。敵対的攻撃を生成器として扱い、実画像と敵対的画像を区別するためのクリティックを用いることで、標準的な敵対的訓練を上回る堅牢性を向上させ、人間の評価でも敵対的例が視覚的に混乱をきたすことが確認された。

ABSTRACT

Ideally, what confuses neural network should be confusing to humans. However, recent experiments have shown that small, imperceptible perturbations can change the network prediction. To address this gap in perception, we propose a novel approach for learning robust classifier. Our main idea is: adversarial examples for the robust classifier should be indistinguishable from the regular data of the adversarial target. We formulate a problem of learning robust classifier in the framework of Generative Adversarial Networks (GAN), where the adversarial attack on classifier acts as a generator, and the critic network learns to distinguish between regular and adversarial images. The classifier cost is augmented with the objective that its adversarial examples should confuse the adversary critic. To improve the stability of the adversarial mapping, we introduce adversarial cycle-consistency constraint which ensures that the adversarial mapping of the adversarial examples is close to the original. In the experiments, we show the effectiveness of our defense. Our method surpasses in terms of robustness networks trained with adversarial training. Additionally, we verify in the experiments with human annotators on MTurk that adversarial examples are indeed visually confusing. Codes for the project are available at https://github.com/aam-at/adversary_critic.

研究の動機と目的

• 神経ネットワークが微小な摂動に対して脆弱であるのに対し、人間の知覚では敵対的例が視覚的に混乱をきたすべきであるというギャップを解消すること。
• 敵対的例が意味的に無意味な摂動ではなく、意味的に意味のあるもので視覚的に妥当なものであることを保証する防御メカニズムを開発すること。
• 敵対的例の現実性を評価するクリティックネットワークを組み込むことで、標準的な敵対的訓練を上回る堅牢性を向上させること。
• 敵対的例が分類器を欺くだけでなく、人間の観察者に対しても自然に見えることを保証すること。
• 敵対的マッピングプロセスの安定化を図るためのサイクル整合性制約を導入すること。

提案手法

• 敵対的攻撃を生成器として扱い、実画像と敵対的画像を区別するクリティックネットワークを用いるGANフレームワークとして、堅牢な分類器の訓練を定式化する。
• 現在の分類器の重みに基づいて生成される、完全に微分可能でパラメータ依存のターゲット付き敵対的攻撃を導入する。
• 分類器の損失にクリティック損失を追加し、敵対的例が敵対的クリティックを欺くように要求することで、視覚的な妥当性を強制する。
• 敵対的マッピングが元の入力に近くなるようにするための敵対的サイクル整合性制約を適用し、安定性を向上させる。
• バックプロパゲーションを用いて分類器とクリティックを同時に訓練し、両方のコンポONENTをエンドツーエンドで最適化可能にする。
• 分類器のパラメータに間接的に依存する新規な攻撃戦略を導入し、視覚的に現実的で、ターゲットクラスと意味的に整合する敵対的例を生成するように最適化する。

実験結果

リサーチクエスチョン

• RQ1 敵対的例をターゲットクラスの自然画像と視覚的に区別がつかなくできるか。その結果、人間レベルの混乱が高まるか。
• RQ2 敵対的例を検出するためのクリティックを訓練するGANベースの防御フレームワークは、標準的な敵対的訓練を上回る堅牢性をもたらすか。
• RQ3 提案手法で生成された敵対的例は、人間が見たときに真のラベルをどの程度変化させるか。
• RQ4 サイクル整合性の導入が、敵対的例の安定性と品質にどの程度寄与するか。
• RQ5 提案手法は、高いクリーン精度を維持しながら、より高い堅牢性を達成できるか。また、意味的に意味のある敵対的例を生成できるか。

主な発見

• 全結合ネットワークを用いたMNISTデータセットにおいて、提案手法は提案攻撃下で0.590の堅牢性スコアを達成し、[7]（0.286）や[19]（0.470）といった敵対的訓練手法を上回った。
• LeNet-5アーキテクチャにおいて、同様に0.590の堅牢性スコアを達成し、[7]（0.286）、[16]（0.330）、[19]（0.470）を著しく上回った。
• Amazon Mechanical Turkを用いた人間評価では、提案防御で生成された敵対的例の87.99％が人間アノテーターによってターゲットクラスとして正しくラベル付けされたが、[19]では60.47％、[7]では19.02％にとどまった。
• 人間の研究では、敵対的例の9.86％が元のクラスとして誤分類されたことが示され、多数の敵対的例が視覚的に説得力があり意味的に妥当であることが裏付けられた。
• LeNet-5を用いた清浄MNIST画像におけるテスト誤差は0.93％であり、クリーンデータに対する強い一般化能力を示した。
• 敵対的サイクル整合性制約により、敵対的マッピングの安定性が向上し、敵対的例が元の入力の分布に近づくことが保証された。