[論文レビュー] Enhancing Cross-task Transferability of Adversarial Examples with Dispersion Reduction

Yunhan Jia, Yantao Lu+3 more|arXiv (Cornell University)|May 8, 2019

Adversarial Robustness in Machine Learning参考文献 19被引用数 11

ひとこと要約

本稿では、畳み込み層内の内部特徴マップの分散を最小化することで、クロスタスクの転送性を向上させる、分散低減（DR）と呼ばれる新しい対抗的攻撃を提案する。視覚モデルに共通する低レベル特徴を標的とすることで、$l_\infty \leq 16$ の摂動のみで、SafeSearchでは最大77%、テキスト認識では95.9%の精度低下を引き起こし、実世界のコンピュータビジョンAPIを効果的に回避するという、最先端の性能を達成している。

ABSTRACT

Neural networks are known to be vulnerable to carefully crafted adversarial examples, and these malicious samples often transfer, i.e., they maintain their effectiveness even against other models. With great efforts delved into the transferability of adversarial examples, surprisingly, less attention has been paid to its impact on real-world deep learning deployment. In this paper, we investigate the transferability of adversarial examples across a wide range of real-world computer vision tasks, including image classification, explicit content detection, optical character recognition (OCR), and object detection. It represents the cybercriminal's situation where an ensemble of different detection mechanisms need to be evaded all at once. We propose practical attack that overcomes existing attacks' limitation of requiring task-specific loss functions by targeting on the `dispersion' of internal feature map. We report evaluation on four different computer vision tasks provided by Google Cloud Vision APIs to show how our approach outperforms existing attacks by degrading performance of multiple CV tasks by a large margin with only modest perturbations.

研究の動機と目的

• セキュリティが重要な応用で使用されるアンサンブル検出システムを含む、多様で実世界のコンピュータビジョンタスクにおける対抗的転送性のギャップを埋める。
• 分類、オブジェクト検出、OCR、明るいコンテンツ検出などの多様なタスクに広く適用可能な、タスク固有の損失関数に依存しない攻撃を開発する。
• 商用で展開されたブラックボックス型のビジョンAPI上で、提案手法の有効性を評価し、実際のサイバー犯罪者による回避シナリオをシミュレートする。
• 対抗的例の転送性を評価するためのベンチマークを提供する。

提案手法

• DR攻撃は、特定の中間畳み込み層（例：VGG-16のconv3.3）における特徴マップの分散を最小化することで、潜在空間における特徴コントラストの代理指標として分散を用いる。
• 分散は、特定の層における特徴マップ全体の活性化の分散として計算され、固定されたハイパーパrameter（$\beta_1=0.98$, $\beta_2=0.99$, $\text{lr}=5\times10^{-2}$）を用いたAdam最適化手法で最小化される。
• 攻撃は、ソースモデル（例：VGG-16 や ResNet-152）に対してエンドツーエンドで適用され、生成された対抗的例はブラックボックス型のGoogle Cloud Vision APIでテストされる。
• 分類用の交差エントロピーなどのタスク固有の損失関数に依存しないため、OCR やオブジェクト検出などの関連のないタスクへの転送が可能になる。
• 摂動は $l_\infty \leq 16$ にクリッピングされ、目立たないことを保証するとともに、転送性を最大化する。
• 仮説として、初期層で検出される低レベル特徴は、視覚モデル間で非常に類似しているため、分散低減は普遍的な歪み機構であると仮定している。

実験結果

リサーチクエスチョン

• RQ1 タスク固有の損失関数に依存せずに、多様で実世界のコンピュータビジョンタスクに効果的に転送できる対抗的攻撃を設計できるか？
• RQ2 特徴マップの分散低減は、商用のブラックボックス型ビジョンAPIへの対抗的例の転送性にどのように影響を与えるか？
• RQ3 分散低減は、既存の転送性向上攻撃（例：MI-FGSM や DIM）に比べて、マルチタスク回避シナリオでどの程度優れているか？
• RQ4 攻撃の有効性は、異なる視覚モデル間の低レベル特徴の類似性と相関しているか？

主な発見

• DR攻撃は、Google Cloud VisionのLabelsおよびSafeSearchモデルの精度をそれぞれ23%および35%に低下させ、SafeSearchの回避においてMI-FGSM（38%）やDIM（43%）を上回った。
• オブジェクト検出では、mAPが32.9%に低下し、MI-FGSMの43.2%やDIMの44.1%よりも顕著に低かった。
• テキスト認識では、DRは正しく認識された単語の割合（C.R.W.）が4.1%にとどまり、MI-FGSMの12.3%やDIMの14.5%を大きく下回り、優れた転送性を示した。
• DR攻撃は元の画像と高い視覚的類似性を維持しており、$l_\infty \leq 16$ の摂動により、目立たないことを確認した。
• 同じソースモデルを用いてテストした結果、分類、オブジェクト検出、明るいコンテンツ検出、OCRの4つのタスクすべてにおいて、DR攻撃は一貫した優位性を示した。
• 結果から、初期畳み込み層における分散低減が、多様な視覚モデルの性能を劣化させる普遍的な歪みを引き起こすという仮説が裏付けられた。