[論文レビュー] Adversarial Attacks for Optical Flow-Based Action Recognition Classifiers

Nathan Inkawhich, Matthew Inkawhich+2 more|arXiv (Cornell University)|Nov 28, 2018

Adversarial Robustness in Machine Learning参考文献 20被引用数 32

ひとこと要約

本稿では、微分可能光流（FlowNet2.0）を用いて動画フレームに著しく見えないスパースな摂動を生成することで、光流に基づく行動認識モデルを標的としたホワイトボックスおよびブラックボックスの adversarial 攻撃フレームワークを提案する。この手法は、TV-L1 や Farneback などの非微分可能流アルゴリズムを用いるブラックボックスシステムへの転送性を示しながら、最先端の攻撃成功率を達成し、モデル性能を著しく低下させる。

ABSTRACT

The success of deep learning research has catapulted deep models into production systems that our society is becoming increasingly dependent on, especially in the image and video domains. However, recent work has shown that these largely uninterpretable models exhibit glaring security vulnerabilities in the presence of an adversary. In this work, we develop a powerful untargeted adversarial attack for action recognition systems in both white-box and black-box settings. Action recognition models differ from image-classification models in that their inputs contain a temporal dimension, which we explicitly target in the attack. Drawing inspiration from image classifier attacks, we create new attacks which achieve state-of-the-art success rates on a two-stream classifier trained on the UCF-101 dataset. We find that our attacks can significantly degrade a model's performance with sparsely and imperceptibly perturbed examples. We also demonstrate the transferability of our attacks to black-box action recognition systems.

研究の動機と目的

• 生産システムで広く使われている光流に基づく行動認識モデルのセキュリティ脆弱性に対処すること。
• 微分可能光流モデル（FlowNet2.0）と時間ストリーム分類器を経由して勾配を逆伝播させることで、動画フレームを直接摂動するホワイトボックス攻撃を開発すること。
• 非微分可能光流アルゴリズム（例：TV-L1, Farneback）を用いるブラックボックスモデルへの adversarial 例の転送性を実証すること。
• 顕著な動画フレームが adversarial 例生成およびモデルの耐性に果たす役割を調査すること。
• 特に1フレーム攻撃を含むスパースな摂動の有効性、特に分類器性能の低下に与える影響を評価すること。

提案手法

• 光流計算のための微分可能サーヴァントとして FlowNet2.0 を使用し、分類器損失から入力動画フレームへの勾配逆伝播を可能にする。
• FlowNet2.0 と時間ストリーム CNN を組み合わせたエンドツーエンドの複合モデルを構築し、入力フレームの摂動を勾配ベースで最適化可能にする。
• 3つの攻撃バリエーションを採用：ワンショット（1回の摂動ステップ）、繰り返し顕著性ベース（it-saliency-RG）、および顕著なフレームにのみ標的を絞ったスパースフレームレベル攻撃。
• 複合モデルからの勾配を用いてホワイトボックス設定で攻撃を実行し、その後、代替の光流アルゴリズムを用いるブラックボックスモデルへの転送性を評価する。
• 顕著マップを用いて影響力の高いフレームを同定し、摂動密度を低減しつつ攻撃効果を維持する。
• UCF-101 データセットを用い、複数の光流および CNN の構成において、クリーン例と adversarial 例の両方を用いて誤分類率を評価することで攻撃効果を評価する。

実験結果

リサーチクエスチョン

• RQ1 微分可能光流を用いて勾配計算を実施することで、光流に基づく行動認識モデルに対する adversarial 攻撃を効果的に適用可能か？
• RQ2 特に1フレーム攻撃を含むスパースで見えない摂動は、2ストリーム行動認識モデルの性能にどの程度効果をもたらすか？
• RQ3 非微分可能光流アルゴリズム（例：TV-L1 や Farneback）を用いるブラックボックスモデルに対して、ホワイトボックス仮定下で生成された adversarial 例の転送性はどの程度か？
• RQ4 光流アルゴリズムの選択（例：FlowNet2.0 対 TV-L1 対 Farneback）は、adversarial 例の転送性および耐性に影響を及ぼすか？
• RQ5 繰り返し顕著性ベース攻撃（it-saliency-RG）は、ワンショット攻撃と比較して、異なるブラックボックス構成において転送性および成功確率でどの程度優れているか？

主な発見

• 提案されたホワイトボックス攻撃は、UCF-101 データセットで最先端の成功確率を達成し、FlowNet2.0 ベースラインにおいて ε=0.035 時に it-saliency-RG がワンショット攻撃を約13%上回る。
• ホワイトボックス手法で生成された adversarial 例は、TV-L1 や Farneback の非微分可能光流アルゴリズムを用いるブラックボックスモデルへも効果的に転送され、勾配アクセスがなくともその精度を著しく低下させる。
• ε=0.035 時に、ブラックボックス TV-L1 システムにおける攻撃成功確率は、it-saliency-RG 攻撃がワンショット攻撃よりも約6%高いが、ホワイトボックス設定ほど顕著な改善は見られない。
• 転送性の傾向は光流アルゴリズムによって異なる：ε<0.015 の低εでは TV-L1 システムへの転送性が高く、εが高くなると Farneback システムへの転送性が優れるため、アルゴリズム固有の感受性が示唆される。
• 1つの顕著なフレームにのみ摂動を加えるスパース攻撃でも高い攻撃成功が達成可能であり、最小限の摂動でモデル性能を著しく低下させられることを示している。
• ブラックボックスモデルが異なる光流アルゴリズムを用いていようとも攻撃は効果を示し、転送性の強さと実用的関連性が確認された。