[論文レビュー] Gotta Catch 'Em All: Using Concealed Trapdoors to Detect Adversarial Attacks on Neural Networks.

Shawn Shan, Emily Willson+4 more|arXiv (Cornell University)|Apr 18, 2019

Adversarial Robustness in Machine Learning参考文献 25被引用数 10

ひとこと要約

本稿では、敵対的攻撃に対する新しい防御手法を提案する。この手法は、深層ニューラルネットワークに隠しトラップドアを埋め込み、敵対的最適化を引きつけることで、攻撃がトラップドアのものと区別できない特徴表現を生成する。この方法により、多様な画像分類タスクにおいて、通常の推論にほとんど影響を与えることなく、最先端の攻撃（PGD、CW、Elastic Net、BPDA）を高精度で検出可能である。

ABSTRACT

Deep neural networks (DNN) are known to be vulnerable to adversarial attacks. Numerous efforts either try to patch weaknesses in trained models, or try to make it difficult or costly to compute adversarial examples that exploit them. In our work, we explore a new approach to protect DNN models. We intentionally inject trapdoors, honeypot weaknesses in the classification manifold that attract attackers searching for adversarial examples. Attackers' optimization algorithms gravitate towards trapdoors, leading them to produce attacks similar to trapdoors in the feature space. Our defense then identifies attacks by comparing neuron activation signatures of inputs to those of trapdoors. In this paper, we introduce trapdoors and describe an implementation of a trapdoor-enabled defense. First, we analytically prove that trapdoors shape the computation of adversarial attacks so that attack inputs will have feature representations very similar to those of trapdoors. Second, we experimentally show that trapdoor-protected models can detect, with high accuracy, adversarial examples generated by state-of-the-art attacks (PGD, optimization-based CW, Elastic Net, BPDA), with negligible impact on normal classification. These results generalize across classification domains, including image, facial, and traffic-sign recognition. We also present significant results measuring trapdoors' robustness against customized adaptive attacks (countermeasures).

研究の動機と目的

• 実世界の応用における深層ニューラルネットワークに対する敵対的攻撃の増加する脅威に対処すること。
• 再訓練やモデルの意思決定境界の変更に依存しない検出メカニズムを開発すること。
• 検出を回避しようとする適応的攻撃者に対しても強固な防御を構築すること。
• 信頼性の高い攻撃検出を可能にしつつ、通常の分類精度に最小限の低下をもたらすこと。

提案手法

• 訓練中に、モデルの特徴空間に意図的にトラップドア（特定の隠しパターン）を埋め込み、ハニーポット的な弱みを生成する。
• 敵対的攻撃の最適化プロセスが低損失領域に引きつけられるという事実を活用し、特徴多様体上のトラップドア位置がその領域に含まれることを活かす。
• 入力のニューロン活性化シグネチャを、事前に知られているトラップドアのシグネチャと比較して検出する。
• 解析的証明により、トラップドアが敵対的攻撃の計算に与える影響を形式化し、攻撃入力がトラップドアのものに類似した特徴表現に収束することを示す。
• 埋め込まれたトラップドアの活性化パターンと一致する入力を特定する検出モジュールを実装する。
• 摂動のマスキングや勾配マスキングによる攻撃者による回避試行を想定し、適応的攻撃に対する耐性を評価する。

実験結果

リサーチクエスチョン

• RQ1 特徴空間にトラップドアを戦略的に配置することで、敵対的攻撃を引きつけ、その特徴表現を変更させることができるか？
• RQ2 トラップドアを搭載したモデルは、PGD、CW、Elastic Net、BPDA などの最先端の敵対的攻撃を、どの程度の高精度で検出できるか？
• RQ3 トラップドアの存在が、クリーンで自然な入力に対するモデルの性能にどのような影響を与えるか？
• RQ4 勾配マスキングや摂動マスキングなどの適応的技術を用いて、攻撃者がトラップドア検出機構を回避できるか？
• RQ5 トラップドア防御は、画像認識分野（例：ImageNet、顔認識、交通標識）の多様なドメインに一般化可能か？

主な発見

• 理論的分析により、敵対的攻撃入力が数学的にトラップドアの特徴表現に類似したものに引きつけられることが証明された。
• トラップドア防御は、複数のデータセットにおいてPGD、CW、Elastic Net、BPDA攻撃に対して95％を超える高精度な検出を達成した。
• 通常の分類精度はほとんど低下せず、最小限のパフォーマンスコストであることが示された。
• 画像認識、顔認識、交通標識認識などの多様な分野にわたり、効果的に一般化された。
• 勾配のマスキングや摂動のマスキングを試みるカスタマイズされた適応的攻撃に対しても、防御は依然として強固であった。
• 検出はニューロン活性化シグネチャにのみ依存するため、元のモデルのアーキテクチャやパラメータにアクセスする必要がない。