[論文レビュー] Adversarial Examples Detection in Deep Networks with Convolutional Filter Statistics

Xin Li, Fuxin Li|arXiv (Cornell University)|Dec 22, 2016

Adversarial Robustness in Machine Learning参考文献 31被引用数 17

ひとこと要約

本論文は、深層ネットワーク内の複数の層における畳み込みフィルタ統計を分析することで、 adversarial examples を検出する軽量で、非部分微分可能な段階的分類器を提案する。85%以上の検出精度を達成し、単純な3×3平均フィルタを用いて73%のadversarial examplesを回復可能であり、さまざまなadversarial attack手法に対して強力な一般化性能を示している。

ABSTRACT

Deep learning has greatly improved visual recognition in recent years. However, recent research has shown that there exist many adversarial examples that can negatively impact the performance of such an architecture. This paper focuses on detecting those adversarial examples by analyzing whether they come from the same distribution as the normal examples. Instead of directly training a deep neural network to detect adversarials, a much simpler approach was proposed based on statistics on outputs from convolutional layers. A cascade classifier was designed to efficiently detect adversarials. Furthermore, trained from one particular adversarial generating mechanism, the resulting classifier can successfully detect adversarials from a completely different mechanism as well. The resulting classifier is non-subdifferentiable, hence creates a difficulty for adversaries to attack by using the gradient of the classifier. After detecting adversarial examples, we show that many of them can be recovered by simply performing a small average filter on the image. Those findings should lead to more insights about the classification mechanisms in deep convolutional neural networks.

研究の動機と目的

• 安全な応用分野における深層ニューラルネットワークの信頼性を損なう可能性があるadversarial examplesの信頼性ある検出に対する重要なニーズに対処すること。
• 再訓練を必要とせず、さまざまなadversarial attackメカニズムに対して強力な検出手法を開発すること。
• 中間の畳み込み層の統計を分析することで、深層ネットワークの内部挙動に関する洞察を提供すること。
• モデルの精度を保持したまま実用的な回復技術を検討すること。

提案手法

• 事前に訓練されたCNNの複数の層における畳み込みフィルタ出力から、単純な統計特徴（例：平均、分散）を抽出する。
• これらのフィルタ統計に基づいて段階的分類器を訓練し、正常入力とadversarial examplesを区別する。
• 分類器は、ある手法（例：L-BFGS）で生成されたadversarialsで学習し、別の手法（例：EA）で生成されたadversarialsでテストすることで、ゼロショット一般化を実現する。
• 勾配ベースの最適化を避けるために非部分微分可能であるため、検出器を標的とするadversarial attacksに対して耐性を持つ。
• 検出されたadversarial examplesに対して、局所的な摂動をキャンセルするために、小さな3×3平均フィルタを適用して画像回復を実行する。
• モデルが不確実性が高い場合に予測を控える自己認識学習戦略を統合することで、安全性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 中間の畳み込み層出力からの単純な統計が、正常入力とadversarial examplesを効果的に区別できるか？
• RQ2 あるadversarial生成手法で学習した検出器が、まったく異なる攻撃メカニズムから生成されたadversarialsを一般化して検出できるか？
• RQ3 単純で学習を伴わない画像処理技術を用いて、adversarial摂動をどの程度逆転できるか？
• RQ4 最先端のadversarial検出技術と比較して、本手法の性能はどの程度か？
• RQ5 検出と回復パイプラインが、実世界の展開における深層ニューラルネットワークの耐性と安全性を向上させられるか？

主な発見

• 提案された段階的分類器は、複数のデータセットおよび攻撃タイプにおいて、85%以上のadversarial examplesを検出する。
• 検出器は効果的な一般化を示す：L-BFGSで生成されたadversarialsで学習したモデルは、微調整なしにEA-adversarialsを効果的に検出できる。
• 検出されたadversarial examplesに3×3平均フィルタを適用することで、トップ5指標で分類精度が73.0%まで回復する。
• フィルタサイズが大きくなると回復性能がわずかに低下する（例：5×5平均フィルタでは68.0%の精度）ため、フィルタサイズに感受性があることが示唆される。
• 本手法により、adversarial摂動はしばしば局所的であり、単純な空間平滑化によってキャンセル可能であることが示され、現在のネットワーク設計における脆弱性が浮き彫りになる。
• 結果から、現在の深層ネットワークは小さな局所的摂動に対して過敏であることが示され、より大きな受容 field や代替正規化戦略の必要性が強調される。