[論文レビュー] Adversarial Attacks against Deep Saliency Models

Zhaohui Che, Ali Borji+4 more|arXiv (Cornell University)|Apr 2, 2019

Adversarial Robustness in Machine Learning参考文献 28被引用数 6

ひとこと要約

本稿は、入力画素ではなく中間特徴マップを変更することで、非常に目立たず構造的にスパースな摂動を生成する、深層サリエンシーモデルに対する最初のスパース特徴空間敵対的攻撃を提案する。この手法は、受容 field が大きいより深い層で高い攻撃成功率を達成し、画像空間の類縁攻撃よりもより巧妙な攻撃を実現する。これは、ビジョンシステムで使用されるサリエンシーモデルにおける重要なセキュリティ上の脆弱性を露呈する。

ABSTRACT

Currently, a plethora of saliency models based on deep neural networks have led great breakthroughs in many complex high-level vision tasks (e.g. scene description, object detection). The robustness of these models, however, has not yet been studied. In this paper, we propose a sparse feature-space adversarial attack method against deep saliency models for the first time. The proposed attack only requires a part of the model information, and is able to generate a sparser and more insidious adversarial perturbation, compared to traditional image-space attacks. These adversarial perturbations are so subtle that a human observer cannot notice their presences, but the model outputs will be revolutionized. This phenomenon raises security threats to deep saliency models in practical applications. We also explore some intriguing properties of the feature-space attack, e.g. 1) the hidden layers with bigger receptive fields generate sparser perturbations, 2) the deeper hidden layers achieve higher attack success rates, and 3) different loss functions and different attacked layers will result in diverse perturbations. Experiments indicate that the proposed method is able to successfully attack different model architectures across various image scenes.

研究の動機と目的

• 高レベルのビジョンタスクで広く使用されているにもかかわらず、深層サリエンシーモデルに対する敵対的攻撃の耐性についての研究が未だほとんど行われていないことの調査。
• 画像空間ではなく特徴空間で動作する、新たな敵対的攻撃手法の開発。これにより、よりスパースで、より静か（スパイア）な摂動が可能になる。
• 損失関数、ネットワークの深さ、受容 field の大きさ、レイヤー構造が、敵対的摂動の有効性と構造に与える影響の分析。
• 異なるモデルや攻撃タイプ間での摂動の転送性および逆効果特性の評価。
• 有効な摂動と無効な摂動の特徴を特定することで、今後の防御メカニズムの構築に役立つ知見を提供。

提案手法

• 攻撃は、入力画像の画素ではなく、サリエンシーモデルの中間特徴マップ上で摂動を最適化することで、特徴空間で動作する。
• 最小限の空間的局在化された摂動を生成するためのスパース正則化戦略を用い、視覚的に目立たない摂動を実現。正規化空間におけるチャンネル最大強度は 0.07 未満に抑える。
• 攻撃には、アーキテクチャと一部のレイヤー・パラメータのみを前提とする部分的な脅威モデル知識が必要であり、ブラックボックスに近い攻撃が可能になる。
• KLダイバージェンス、CC（ピアソン相関）、L1、および NSS の異なる損失関数を用いて最適化を誘導し、多様な摂動パターンを生成する。
• 成功度は CC および他のサリエンシーマップ評価指標を用いて、さまざまな隠れ層に攻撃を適用して測定する。
• 転送性と逆効果効果は、あるモデルや損失タイプから得た摂動を別のモデルに適用し、CC 指標による性能低下を評価することで評価する。

実験結果

リサーチクエスチョン

• RQ1 深層サリエンシーモデルのどの隠れ層が特徴空間敵対的攻撃に対して最も脆弱であり、レイヤーの深さや受容 field の大きさが攻撃成功率にどのように影響するか？
• RQ2 特徴空間摂動の構造的および知覚的特性は、従来の画像空間敵対的摂動と比べてどのように異なるか？
• RQ3 異なる損失関数（例：KL、CC、L1）が、生成された敵対的摂動のパターン、スパarsity、有効性に与える影響は何か？
• RQ4 敵対的摂動は、異なるサリエンシーモデルのアーキテクチャ間でどの程度転送可能であり、組み合わせたり緩和処理を施した際にどのように相互作用するか？
• RQ5 画像空間摂動によって特徴空間摂動を無効化できるか、逆に特徴空間摂動によって画像空間摂動を無効化できるか。これは、共通のまたは異なる敵対的パターンの有無を示唆するか？

主な発見

• 提案手法による特徴空間攻撃は、画像空間攻撃に比べてはるかにスパースな摂動を達成しており、チャンネル最大強度が 0.07 未満であるため、人間の観察者にはほとんど目立たない。
• 受容 field が大きく、より深い隠れ層から生成される摂動は、よりスパースで効果的であり、高い攻撃成功率を達成する。
• 攻撃成功率は損失関数の選択に強く依存しており、KL、CC、L1 損失はそれぞれ異なる摂動パターンを生成し、結果として異なるサリエンシーマップ出力をもたらす。
• 異なるサリエンシーモデル間での摂動の転送性は弱く、たとえ類似したアーキテクチャであっても、非常にモデル特異的であることが示された。
• 画像空間攻撃と特徴空間攻撃の摂動には異なる空間的構造がある。画像空間摂動はより密集しており、特徴空間摂動を部分的に緩和できるが、逆は成り立たない。
• 摂動の空間的構造は極めて重要であり、摂動の行または列をランダムに並び替えると、敵対的効果が完全に消失する。これは、空間的一致性が成功の鍵であることを確認する。