[論文レビュー] Enhancing Cross-task Black-Box Transferability of Adversarial Examples with Dispersion Reduction

Yantao Lu, Yunhan Jia+5 more|arXiv (Cornell University)|Nov 22, 2019

Adversarial Robustness in Machine Learning参考文献 25被引用数 9

ひとこと要約

本稿では、畳み込みニューラルネットワークにおける中間特徴マップの分散を最小化することで、クロストラスクの転送性を向上させる、分散低減（DR）と呼ばれる新規なブラックボックス敵対的攻撃を提案する。低レベル特徴がタスク間で共有される初期層において特徴マップのコントラストを低下させることで、$l_∞ \leq 16$ の範囲で、分類、検出、セグメンテーション、コンテンツフィルタリング、テキスト認識といった多様なコンピュータビジョンタスクにおける性能を劣化させる摂動を生成する。この手法は、MI-FGSM や DIM といった最先端の攻撃を上回る性能を発揮する。

ABSTRACT

Neural networks are known to be vulnerable to carefully crafted adversarial examples, and these malicious samples often transfer, i.e., they remain adversarial even against other models. Although great efforts have been delved into the transferability across models, surprisingly, less attention has been paid to the cross-task transferability, which represents the real-world cybercriminal's situation, where an ensemble of different defense/detection mechanisms need to be evaded all at once. In this paper, we investigate the transferability of adversarial examples across a wide range of real-world computer vision tasks, including image classification, object detection, semantic segmentation, explicit content detection, and text detection. Our proposed attack minimizes the ``dispersion'' of the internal feature map, which overcomes existing attacks' limitation of requiring task-specific loss functions and/or probing a target model. We conduct evaluation on open source detection and segmentation models as well as four different computer vision tasks provided by Google Cloud Vision (GCV) APIs, to show how our approach outperforms existing attacks by degrading performance of multiple CV tasks by a large margin with only modest perturbations linf=16.

研究の動機と目的

• 特にアンサンブル検出メカニズムを用いる実世界のシステムにおいて、多様なコンピュータビジョンタスクに跨る効果的なブラックボックス攻撃が不足しているという問題に対処すること。
• タスク固有の損失関数やターゲットモデルの内部を覗き込むことなく、転送可能な攻撃を開発すること。
• 分類、オブジェクト検出、セマンティックセグメンテーション、明示的コンテンツ検出、テキスト検出といった複数のCVタスクにおける敵対的例のロバスト性を、単一で統一された手法で向上させること。
• セキュリティが重要な応用分野における、アンサンブルベースの検出システムにおけるクロストラスク回避に対するモデルのロバスト性を評価する強力なベースラインを確立すること。

提案手法

• 本手法は、VGG-16のconv3.3やResNet-152のconv3.8.3など、中間畳み込み層を標的とし、特徴マップの分散を低減することで、特徴空間における知覚的コントラストの代理として機能する。
• 分散は、学習率5e-2、β₁=0.98、β₂=0.99 を用いたAdam最適化手法を用いて最小化され、入力を反復的に更新することで特徴マップの分散を低減する。
• 攻撃は、標準的なImageNet分類モデル（例：VGG-16、ResNet-152）をサrogateモデルとして使用するため、ソースモデルに依存しない。
• 予測ターゲットではなく内部特徴統計に焦点を当てることで、タスク固有の損失関数を避ける。これにより、広範な転送性が実現される。
• 摂動は $l_∞ \leq 16$ にクリッピングされ、元の入力と視覚的に類似した状態を維持する。
• 低レベル特徴が複数のCVモデルで共有されるという仮説に基づき、特徴マップの分散を抑制することで、すべての下流タスクに一様に影響を与える。

実験結果

リサーチクエスチョン

• RQ1 初期層における特徴マップの分散を低減させることで、多様なコンピュータビジョンタスクに跨る敵対的例のクロストラスク転送性が向上するか？
• RQ2 ターゲットモデルを覗き込まず、ターゲットモデルの内部を覗き込まずに、分散低減法がタスク固有の損失に基づく攻撃（例：MI-FGSM、DIM）と比べてブラックボックス環境でどのように性能を発揮するか？
• RQ3 単一でシンプルな攻撃手法が、Google Cloud Visionの分類、オブジェクト検出、SafeSearch、テキスト検出サービスを含む、複数の実世界のビジョンAPIの性能をどの程度劣化させられるか？
• RQ4 特徴分散の最小化が、あらゆる下流タスクに対して一貫して誤分類を引き起こす「特徴のない」入力を作り出すのか？
• RQ5 この手法が、アンサンブルベースの検出システムにおけるモデルのロバスト性を評価する強力で汎用的なベースラインとして機能できるか？

主な発見

• DR攻撃は、Google Cloud VisionのLabelsタスクにおけるトップ1正答率を23%まで低下させ、SafeSearchの正答率を35%まで低下させた。これは、MI-FGSM（38%）やDIM（43%）を大きく上回る性能であった。
• オブジェクト検出では、IoU=0.5 の条件下でmAPが32.9%まで低下した。テキスト検出における単語認識正答率も、わずか4.1%まで低下した。
• ICDAR 2017ベンチマークでは、テキストロケーションのAPが20.9%まで低下し、ロケーションと認識の両方で顕著な劣化が確認された。
• 攻撃は元の画像と高い視覚的類似性を維持しており、$l_∞ \leq 16$ に留めることで、目立たない摂動を実現した。
• DRは、分類、オブジェクト検出、SafeSearch、テキスト検出の4つのGCV APIにおいて、単一のソースモデルとタスク固有の損失関数を一切使用せずに、優れた性能を発揮した。
• 可視化結果から、敵対的例は視覚的に元の画像に類似したままであり、すべてのターゲットモデルを一貫してだますことが確認され、本手法の広範な転送性が裏付けられた。