[論文レビュー] Detecting Adversarial Examples via Key-based Network

Pinlong Zhao, Zhouyu Fu+3 more|arXiv (Cornell University)|Jun 2, 2018

Adversarial Robustness in Machine Learning参考文献 14被引用数 8

ひとこと要約

本稿では、誤り訂正出力コードを用いた二値分類器を、ランダムに選択されたラベルサブセット上で訓練することで、敵対的例を特定する検出ベースの防御、キーベースネットワークを提案する。従来の手法とは異なり、通常の訓練データのみを必要とし、ランダム化された符号化方式のおかげで多様な攻撃に対して堅牢であり、クリーン画像における精度の低下を最小限に抑えて高い検出率を達成する。

ABSTRACT

Though deep neural networks have achieved state-of-the-art performance in visual classification, recent studies have shown that they are all vulnerable to the attack of adversarial examples. Small and often imperceptible perturbations to the input images are sufficient to fool the most powerful deep neural networks. Various defense methods have been proposed to address this issue. However, they either require knowledge on the process of generating adversarial examples, or are not robust against new attacks specifically designed to penetrate the existing defense. In this work, we introduce key-based network, a new detection-based defense mechanism to distinguish adversarial examples from normal ones based on error correcting output codes, using the binary code vectors produced by multiple binary classifiers applied to randomly chosen label-sets as signatures to match normal images and reject adversarial examples. In contrast to existing defense methods, the proposed method does not require knowledge of the process for generating adversarial examples and can be applied to defend against different types of attacks. For the practical black-box and gray-box scenarios, where the attacker does not know the encoding scheme, we show empirically that key-based network can effectively detect adversarial examples generated by several state-of-the-art attacks.

研究の動機と目的

• 微小な摂動によってモデルを誤導することができる、深層ニューラルネットワークの敵対的例に対する脆弱性を是正すること。
• 敵対的例の生成プロセスに関する事前知識を必要としない防御メカニズムを開発すること。
• ブラックボックスおよび GRAYBOX 環境を含む、さまざまな攻撃タイプに対応した敵対的例の検出を可能にすること。
• 通常の入力に対して高い精度を維持しながら、敵対的入力を効果的に拒否できること。
• キーベースネットワークと通常のネットワークとの間でラベル予測の重複を低くすることで、転送攻撃に対して耐性を持つ防御を設計すること。

提案手法

• キーベースネットワークは、ランダムに選択されたラベルサブセットのペアに対して複数の二値分類器を訓練し、各クラスに固有のバイナリコードベクトル（シグネチャ）を生成する。
• 各クラスは、訓練済みの二値分類器の出力の期待値に基づいてバイナリベクトルに符号化され、そのクラスのシグネチャが形成される。
• 推論時、モデルはテスト画像の出力コードを計算し、保存済みのクラスシグネチャと比較する。一致しないコードが検出されれば、それは敵対的入力であると特定される。
• この手法は、わずかなコード不一致に対しても耐性を持つようにするため、誤り訂正出力コード（ECOC）に依存している。
• 符号化方式はランダムに選択され、秘密に保たれるため、攻撃者が逆算したり検出を回避したりするのは困難である。
• キーベースコードマッピングにログitsとソフトマックス層を置き換えることで、元のアーキテクチャを損なったまま、既存のネットワークにプラグインとして適用可能である。

実験結果

リサーチクエスチョン

• RQ1 敵対的例の生成プロセスに関する知識がなくても、検出ベースの防御が有効に機能するか。
• RQ2 誤り訂正出力コードに基づくランダム符号化方式が、多様な敵対的攻撃に対して耐性を高められるか。
• RQ3 キーベースネットワークは、通常の入力に対して高い精度を維持しながら、敵対的例を効果的に検出できるか。
• RQ4 キーベースネットワークは、他のモデルからの転送攻撃に対してどの程度耐性を示すか。
• RQ5 コード長の変動に対して、検出性能はどの程度感度を示すか。

主な発見

• ブラックボックス設定下で、FGSM攻撃に対して98.5%、DeepFool攻撃に対して96.7%の検出率を達成し、優れた一般化性能を示した。
• ランダム入力では、キーベースネットワークとベースラインモデル間の予測重複は0%にとどまり、相関性が低く、転送攻撃に対して強い耐性があることが示された。
• ランダムノイズを含む通常画像では、キーベースネットワークとベースラインモデル間の予測重複は19.48%にとどまり、他のベースラインと比較して顕著に低く、入力出力マッピングの差異が明確に示された。
• クリーン画像における精度の低下は最小限に抑えられ、さまざまなネットワークアーキテクチャ（例：Baseline2, Baseline3, Baseline4）において顕著な低下は観察されなかった。
• コード長の変化に関わらず検出性能が安定しており、急激な低下や向上は観察されず、コード長の選択に対して耐性があることが示された。
• このフレームワークはアーキテクチャに依存せず、下位のモデル構造を変更せずに幅広い深層ニューラルネットワークに適用可能である。