[論文レビュー] Detecting Adversarial Examples from Sensitivity Inconsistency of Spatial-Transform Domain

Jinyu Tian, Jiantao Zhou+2 more|arXiv (Cornell University)|Mar 7, 2021

Adversarial Robustness in Machine Learning参考文献 52被引用数 6

ひとこと要約

本稿では、空間変換領域における意思決定境界の揺らぎに対する感度の高さに着目し、通常の例と比較して敵対的例が顕著に感度が高いため、その感度の不一致を検出することで敵対的例を検出する Sensitivity Inconsistency Detector (SID) を提案する。重み付き平均ウェーブレット変換を用いて二重分類器を訓練することで、特に小さな摂動レベルや BIM や C&W といった高度な攻撃に対して、最先端の検出性能を達成する。

ABSTRACT

Deep neural networks (DNNs) have been shown to be vulnerable against adversarial examples (AEs), which are maliciously designed to cause dramatic model output errors. In this work, we reveal that normal examples (NEs) are insensitive to the fluctuations occurring at the highly-curved region of the decision boundary, while AEs typically designed over one single domain (mostly spatial domain) exhibit exorbitant sensitivity on such fluctuations. This phenomenon motivates us to design another classifier (called dual classifier) with transformed decision boundary, which can be collaboratively used with the original classifier (called primal classifier) to detect AEs, by virtue of the sensitivity inconsistency. When comparing with the state-of-the-art algorithms based on Local Intrinsic Dimensionality (LID), Mahalanobis Distance (MD), and Feature Squeezing (FS), our proposed Sensitivity Inconsistency Detector (SID) achieves improved AE detection performance and superior generalization capabilities, especially in the challenging cases where the adversarial perturbation levels are small. Intensive experimental results on ResNet and VGG validate the superiority of the proposed SID.

研究の動機と目的

• 深層ニューラルネットワークが人間には検出できない微小な敵対的例によって誤分類を引き起こす脆弱性に対処すること。
• 通常の例と敵対的例を区別する幾何的性質として、意思決定境界の揺らぎに対する感度の不一致を同定すること。
• この不一致を活用して、強力で一般化可能な敵対的例検出手法を開発すること。
• 従来の手法が困難にしている低摂動領域における検出性能を向上させること。

提案手法

• 重み付き平均ウェーブレット変換 (WAWT) を用いて、元の（プライマル）分類器とは異なる変換された意思決定境界を持つ二重分類器を構築する。
• 境界の揺らぎに対する応答の度合いを定量化する感度ベースの特徴量を設計し、敵対的例が通常の例よりも感度が高いという事実を活用する。
• プライマル分類器と同じデータを用いて変換領域で二重分類器を訓練することで、特に曲率の高い境界領域で構造的多様性を確保する。
• プライマル分類器と二重分類器の間の感度の不一致を検出信号として利用する：大きな不一致は敵対的例を示す。
• 境界摂動下での二つの分類器間の予測信頼度の相対的シフトに基づいて検出スコアを定式化する。
• 複数のアーキテクチャ (ResNet, VGG) とデータセット (CIFAR-10, SVHN) にわたって手法を適用し、一般化性を検証する。

実験結果

リサーチクエスチョン

• RQ1 意思決定境界の揺らぎに対する感度の不一致は、敵対的例検出の信頼できるシグナルとして機能するか？
• RQ2 変換領域に構築された二重分類器は、曲率の高い境界領域でプライマル分類器と十分に構造的相違を示すか？
• RQ3 提案手法は、BIM や DeepFool によって生成された敵対的例において、LID や MD や FS よりも検出精度が優れているか、特に小さな摂動においては？
• RQ4 白箱攻撃によって検出を回避しようとする攻撃に対して、検出器はどれほど頑健か？
• RQ5 異なる攻撃タイプやモデルアーキテクチャにわたって、検出器はどれほど一般化するか？

主な発見

• BIM や DeepFool によって生成された敵対的例において、SID はあらゆる摂動レベルで最高の AUC スコアを達成し、LID や MD や FS を上回る。
• FGSM によって生成された例では、摂動の大きさ η ≤ 0.41 の範囲で SID が最良の検出器であり、特に低 η の困難な領域でも高い有効性を示す。
• 検出器は優れた一般化性能を示し、ある攻撃タイプ（例：BIM）で学習した後、他の攻撃タイプ（例：C&W や DeepFool）でテストしても高い性能を維持する。
• SID は白箱攻撃に対しても強い頑健性を示す：例えば、BIM-L で学習した場合、白箱攻撃戦略によって生成された敵対的例に対しても 98.31% の AUC を維持する。
• この手法の一般化性能は、BIM や C&W のような高度な攻撃が敵対的例を同じくして非常に曲率の高い境界領域に集中させるため、一貫した感度の不一致を生じさせるという事実に起因する。
• WAWT を用いた二重分類器の設計により、プライマル分類器とは十分に幾何的相違を持つ意思決定境界が成功裏に作成され、効果的な検出が可能になった。