[論文レビュー] SentiNet: Detecting Localized Universal Attacks Against Deep Learning Systems

Chou Edward, Tramer Florian+1 more|arXiv (Cornell University)|Dec 1, 2018

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

SentiNetは、物理的パッチ、トロイの木馬モデル、データ汚染など、局所的で普遍的な adversarial 攻撃を、モデルの解釈可能性と物体検出を活用して特定する、攻撃に依存しない防御フレームワークである。このフレームワークは、画像の顕著な領域を特定し、それらが正常な画像において誤分類を引き起こす可能性を検証することで、高い検出精度を達成する。攻撃の事前知識やモデルの微調整を必要としない。

ABSTRACT

SentiNet is a novel detection framework for localized universal attacks on neural networks. These attacks restrict adversarial noise to contiguous portions of an image and are reusable with different images -- constraints that prove useful for generating physically-realizable attacks. Unlike most other works on adversarial detection, SentiNet does not require training a model or preknowledge of an attack prior to detection. Our approach is appealing due to the large number of possible mechanisms and attack-vectors that an attack-specific defense would have to consider. By leveraging the neural network's susceptibility to attacks and by using techniques from model interpretability and object detection as detection mechanisms, SentiNet turns a weakness of a model into a strength. We demonstrate the effectiveness of SentiNet on three different attacks -- i.e., data poisoning attacks, trojaned networks, and adversarial patches (including physically realizable attacks) -- and show that our defense is able to achieve very competitive performance metrics for all three threats. Finally, we show that SentiNet is robust against strong adaptive adversaries, who build adversarial patches that specifically target the components of SentiNet's architecture.

研究の動機と目的

• 攻撃ベクトルの事前知識がなく、モデルの再訓練を要しない、多様で物理的に実現可能な深層ニューラルネットワークへの adversarial 攻撃に対処する挑戦に応える。
• 新しい攻撃や適応的攻撃に対して失敗する、シグネチャベースや攻撃特化型防御の限界を克服する。
• 特に、adversarial リージョンの堅牢性と一般化特性といった、モデルの固有の脆弱性を検出信号として活用する検出メカニズムを開発する。
• 攻撃者が検出コンponentを的確に標的にするとしても、防御の有効性を維持できるようにする。
• 実世界の実用的状況において、改ざん済みおよび改ざん済みでないモデルの両方に対して、リアルタイムで展開可能な検出を可能にする。

提案手法

• 分類決定に強く影響を与える連続した顕著な領域を特定するために、クラス活性化マッピング（CAM）およびその他のモデル解釈技術を用いる。
• 物体検出手法を適用して、これらの顕著な領域を、良性だが影響力のある特徴から分離する。
• 各検出された顕著な領域を、多数の保持済みの正常画像に重ねて、ターゲット分類器による誤分類頻度を評価する。
• 良性の領域よりも著しく高い割合の正常画像で誤分類を引き起こす場合、その領域を adversarial と分類する。
• 検出パイプラインを、特定の攻撃メカニズムに依存しないように設計し、攻撃の普遍的かつ局所的性質のみに依存する。
• 推論パイプラインに検出プロセスを統合することで、モデルの微調整なしにリアルタイムかつ低遅延での動作を実現する。

実験結果

リサーチクエスチョン

• RQ1 攻撃ベクトルの事前知識やモデル再訓練なしに、SentiNetは局所的で普遍的な adversarial 攻撃を検出できるか？
• RQ2 顕著性に基づく検出と一般化テストを組み合わせることで、悪意あるとされる顕著な影響領域と良性の影響領域を効果的に区別できるか？
• RQ3 SentiNetは、検出コンponentを的確に標的にする適応的攻撃に対しても、どれほど頑健か？
• RQ4 SentiNetは、現実世界で展開された物理的実現可能な adversarial パッチを検出できるか？
• RQ5 データ汚染、トロイの木馬、adversarial パッチなど、根本的に異なる攻撃タイプのすべてにおいて、SentiNetは高い検出性能を維持できるか？

主な発見

• SentiNetは、データ汚染、トロイの木馬ネットワーク、adversarial パッチ（物理的実現可能なものも含む）という3つの異なる攻撃タイプにおいて、高い検出精度を達成した。
• 実世界の物理的環境において、印刷された adversarial パッチを高い信頼性で検出できた。これは、実用的展開可能性を示している。
• 攻撃者がSentiNetのアーキテクチャコンponentを的確に標的にする強い適応的攻撃に対しても、防御は有効であった。これは、顕著性を低下させると攻撃の普遍性が失われるためである。
• SentiNetは、モデルの再訓練や攻撃の事前知識を必要としないため、事前に改ざん済みの可能性があるモデルにも適用可能である。
• 視点、照明、画像コンテンツの変動に対して、攻撃領域の普遍的性質のおかげで検出メカニズムは頑健である。
• このアプローチは、モデルが adversarial 例に対して脆弱であるのを検出の利点に変え、モデルの本質的挙動をセキュリティの原素として活用する。