[論文レビュー] Detection based Defense against Adversarial Examples from the Steganalysis Point of View

Jiayang Liu, Weiming Zhang+5 more|arXiv (Cornell University)|Jun 21, 2018

Adversarial Robustness in Machine Learning参考文献 34被引用数 8

ひとこと要約

この論文は、スティガノグラフィーの検出にインspiredされた防御を提案し、修正確率推定（MPM）を用いてスティガノグラフィー特徴を強化することで、ImageNetにおけるC&W攻撃を含む強力な攻撃に対し、93.41%の高い正確性を達成している。非ニューラルネットワークアーキテクチャのおかげで、二次的な adversarial 攻撃に対しても耐性がある。

ABSTRACT

Deep Neural Networks (DNNs) have recently led to significant improvements in many fields. However, DNNs are vulnerable to adversarial examples which are samples with imperceptible perturbations while dramatically misleading the DNNs. Moreover, adversarial examples can be used to perform an attack on various kinds of DNN based systems, even if the adversary has no access to the underlying model. Many defense methods have been proposed, such as obfuscating gradients of the networks or detecting adversarial examples. However it is proved out that these defense methods are not effective or cannot resist secondary adversarial attacks. In this paper, we point out that steganalysis can be applied to adversarial examples detection, and propose a method to enhance steganalysis features by estimating the probability of modifications caused by adversarial attacks. Experimental results show that the proposed method can accurately detect adversarial examples. Moreover, secondary adversarial attacks cannot be directly performed to our method because our method is not based on a neural network but based on high-dimensional artificial features and FLD (Fisher Linear Discriminant) ensemble.

研究の動機と目的

• 人間が認識できないがモデルを誤検出させるような adversarial 例に対する深層ニューラルネットワークの脆弱性を解決すること。
• 特に、検出にニューラルネットワークを用いることで生じる二次的な adversarial 攻撃への感受性という、既存の防御の限界を克服すること。
• adversarial パーティクルがスティガノグラフィーにおける隠しデータの変更に類似しているというアイデアにインspiredし、スティガノグラフィーを adversarial 例検出の新しいパラダイムとして探求すること。
• 多様な adversarial 攻撃タイプにわたるスティガノグラフィーに基づく検出性能を向上させるための特徴強化手法（MPM）を開発すること。
• 検出パイプラインにニューラルネットワークアーキテクチャを用いないことで、二次的攻撃に対して強固な検出システムを設計すること。

提案手法

• この手法は、パーソナリティを画像内の隠し変更としてモデル化することで、adversarial パーティクルを検出するためのスティガノグラフィーの原則を適用する。
• パーセプトロンの変更確率推定（MPM）技術を導入し、adversarial 攻撃によって引き起こされる画素変更の可能性を推定することで、スティガノグラフィー特徴を強化する。
• 分類には高次元の人工特徴とFisher線形判別（FLD）アンサンブルを組み合わせた検出システムを採用する。
• VGG-16分類器を用いたImageNet-1000で、4つの攻撃タイプ（FGSM、IGSM、Deepfool、C&W）に対して検出性能を評価する。
• MPMを有するか無いかで比較することで、特徴強化の有効性を検証する（例：SPAM 対 ESPAM、SRM 対 ESRM）。
• 検出モデルは明示的に非ニューラルであり、ニューラルネットワークベースの検出器に見られる二次的 adversarial 攻撃の脆弱性を回避する。

実験結果

リサーチクエスチョン

• RQ1 パーソナリティを隠しデータの変更として扱うことで、スティガノグラフィーを adversarial 例検出に効果的に応用できるか？
• RQ2 修正確率推定（MPM）は、多様な adversarial 攻撃に対してスティガノグラフィー特徴をどのように向上させ、検出正確性を向上させるか？
• RQ3 非ニューラルネットワーク検出モデルは、ニューラルネットワークベースの検出器を回避する二次的 adversarial 攻撃に耐性を示すか？
• RQ4 MPMで強化された検出器の性能は、特にImageNetにおけるC&W攻撃に対して、既存の防御と比較してどうなるか？
• RQ5 MPMを用いた低次元特徴検出器は、高次元特徴検出器と同等の性能を達成できるか？

主な発見

• MPMを用いたESRM検出器は、ImageNetにおけるC&W攻撃に対して93.41%の検出正確性を達成し、ベースライン手法を著しく上回った。
• MPMによりSPAMの検出正確性が15ポイント以上向上し、強力な特徴強化能力を示した。
• ESPMとESRMは、C&W攻撃に対してほぼ無効であったRBF-SVM（51.87%の正確性）を上回った。
• ESRM検出器は、FGSM、IGSM、Deepfool、C&Wの全攻撃タイプにおいて、平均で最高の検出正確性を達成した。
• MPMを用いた検出器は、MPMなしの対応する検出器よりも一貫して高い正確性を示し、強化手法の有効性を確認した。
• 検出モデルの非ニューラルネットワーク構造により、二次的 adversarial 攻撃への直接的な攻撃が不可能となり、ニューラルネットワークベースの防御と比較して顕著な利点を示した。