[論文レビュー] Towards Robust Detection of Adversarial Examples

Tianyu Pang, Chao Du+2 more|arXiv (Cornell University)|Jun 2, 2017

Adversarial Robustness in Machine Learning参考文献 40被引用数 13

ひとこと要約

本稿では、逆交差エントロピー（RCE）学習とカーネル密度（K-density）しきい値検出器を導入することで、敵対的サンプルに対するロバストな防御を提案する。RCEは、正常サンプルと敵対的サンプルの間の特徴抽出を強化し、K-density検出器が敵対的サンプルを最小限の学習コストで効果的にフィルタリングできるようにする。MNISTおよびCIFAR-10において、白ボックス攻撃を含むすべての脅威モデルで、最先端のロバスト性を達成している。

ABSTRACT

Although the recent progress is substantial, deep learning methods can be vulnerable to the maliciously generated adversarial examples. In this paper, we present a novel training procedure and a thresholding test strategy, towards robust detection of adversarial examples. In training, we propose to minimize the reverse cross-entropy (RCE), which encourages a deep network to learn latent representations that better distinguish adversarial examples from normal ones. In testing, we propose to use a thresholding strategy as the detector to filter out adversarial examples for reliable predictions. Our method is simple to implement using standard algorithms, with little extra training cost compared to the common cross-entropy minimization. We apply our method to defend various attacking methods on the widely used MNIST and CIFAR-10 datasets, and achieve significant improvements on robust predictions under all the threat models in the adversarial setting.

研究の動機と目的

• 深層学習モデルがさまざまな攻撃手法によって生成された敵対的サンプルに対して脆弱であるという問題に対処すること。
• クリーンなサンプルにおける精度を損なわせることなく、白ボックス、ブラックボックス、無知な脅威モデル下での検出ロバスト性を向上させること。
• 正常入力と敵対的入力の間の特徴空間の分離を強化する学習手順を開発すること。
• 標準的な深層学習パイプラインと互換性がある軽量で即席のしきい値戦略を用いて、効果的な検出を可能にすること。

提案手法

• 真のクラスに対して高い信頼度を促進し、誤りクラスに対して一様性を高めるために、逆交差エントロピー（RCE）を新しい学習目的として導入し、潜在表現の識別性を向上させる。
• 最終層の特徴量におけるカーネル密度（K-density）推定をしきい値検出器として用い、データ多様体から遠く離れた入力を特定する。
• 標準的な交差エントロピーとは異なり、RCE学習を導入することで、わずかな修正のみで、計算コストの増加は無視できる。
• 推論時にK-densityスコアに基づくしきい値戦略を用いて、敵対的サンプルを特定・フィルタリングする。
• RCE損失を設計することで、特に次元数に基づく検出器（例：K-density）に適した、敵対的サンプルの特徴空間内での識別性を高める。
• さまざまな攻撃設定下で、複数のモデル（ResNet-32、ResNet-56）およびデータセット（MNIST、CIFAR-10）に対して本手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 修正された学習目的は、既存の検出メカニズムを用いて敵対的サンプルの検出可能性を向上させることができるか？
• RQ2 RCE学習は、白ボックス攻撃下でのK-densityベースの検出ロバスト性にどのように影響するか？
• RQ3 本手法は、敵対的検出を向上させる一方で、クリーンなサンプルにおける精度をどの程度維持できるか？
• RQ4 攻撃者が代替モデルを用いるブラックボックス転送攻撃においても、防御は有効に機能するか？
• RQ5 検出器を回避するために設計された敵対的サンプルでさえ、通常の入力とは視覚的に区別可能か？

主な発見

• ResNet-32（MNIST）におけるC&W-wb攻撃下で、RCEで学習したモデルでは敵対的サンプルのf₂(x*) > 0の割合が77%に達したのに対し、標準的な交差エントロピーではわずか1%にとどまり、著しく高い検出可能性が示された。
• RCEで学習したモデルの敵対的サンプルを検出から回避するには、平均して31.59の歪み（CEでは17.12）が必要であり、人間の目には明確にノイズが多く、視覚的に検出可能であることがわかった。
• CIFAR-10では、代替モデルを用いたブラックボックス攻撃におけるAUCスコアが、RCEでは89.1、CEでは75.0であった。これは、転送ベースの回避攻撃に対してより強い耐性を示している。
• 本手法は、すべての脅威モデルにおいて顕著なロバスト性向上を達成した一方で、クリーンテストセットにおける精度を最先端レベルで維持した。
• 最も攻撃が激しい白ボックス攻撃（C&W-wb）でさえ、RCEモデルの敵対的サンプルは、人間が目で確認できるほどの顕著な摂動を必要としており、視覚的に検出可能であった。
• 攻撃者がK-density検出器を直接標的にする場合でも、RCE値とK-densityスコアの間に明確な関連性がないため、攻撃の効率は制限され、防御は依然として有効であった。