[論文レビュー] Sparse Adversarial Video Attacks with Spatial Transformations

Ronghui Mu, Wenjie Ruan+2 more|arXiv (Cornell University)|Nov 10, 2021

Adversarial Robustness in Machine Learning参考文献 58被引用数 9

ひとこと要約

この論文では、ベイズ最適化とSGDを用いて追加ノイズと空間変換（例：回転、スケーリング）を共同最適化することで、最も影響力のあるフレームを特定するスパースな敵対的動画攻撃であるDeepSAVAを提案する。人間の知覚に影響しにくいという点で、ℓp-ノルムの代わりに構造的類似性（SSIM）を用いることで、知覚的整合性を保ちつつ、I3Dモデルでは最大100％の攻撃成功率を達成。1フレームのみを摂動することで、多様な動画モデル間で高い転送性を実現した。

ABSTRACT

In recent years, a significant amount of research efforts concentrated on adversarial attacks on images, while adversarial video attacks have seldom been explored. We propose an adversarial attack strategy on videos, called DeepSAVA. Our model includes both additive perturbation and spatial transformation by a unified optimisation framework, where the structural similarity index (SSIM) measure is adopted to measure the adversarial distance. We design an effective and novel optimisation scheme which alternatively utilizes Bayesian optimisation to identify the most influential frame in a video and Stochastic gradient descent (SGD) based optimisation to produce both additive and spatial-transformed perturbations. Doing so enables DeepSAVA to perform a very sparse attack on videos for maintaining human imperceptibility while still achieving state-of-the-art performance in terms of both attack success rate and adversarial transferability. Our intensive experiments on various types of deep neural networks and video datasets confirm the superiority of DeepSAVA.

研究の動機と目的

• 人間の知覚に影響しにくく、かつ高い攻撃成功率を達成できる、強力な敵対的動画攻撃手法の不足を解消すること。
• カメラのブレや回転などの自然な空間変換を捉えられないℓp-ノルムに基づく忠実度指標の限界を克服すること。
• 動画シーケンス内で最も影響力のあるフレームを特定し、それらにのみ摂動を加えることで、スパースな攻撃を可能にすること。
• LSTM や GRU などの再帰的アーキテクチャを含む、多様な動画モデル間での敵対的転送性を向上させること。
• 追加ノイズと空間変換を同時に学習する統合最適化フレームワークを構築し、より強力で現実的である敵対的例を生成すること。

提案手法

• 追加ノイズと空間変換（例：回転、スケーリング）を共同で最適化する統合最適化フレームワークを構築し、攻撃成功率を最大化するとともに、知覚的影響を最小限に抑える。
• ベイズ最適化（BO）を用いて、動画内で摂動を加えた際に最も高い攻撃成功率をもたらすフレーム（複数可）を反復的に特定する。
• 確率的勾配降下法（SGD）を用いて、選択されたフレーム上で追加ノイズおよび空間変換パラメータを最適化する。
• 構造的類似性指数測定（SSIM）を主な指標として敵対的距離を評価し、ℓp-ノルムの代わりに知覚的整合性を確保する。
• 効率性と有効性のバランスを図るために、BOによるフレーム選択とSGDによる摂動生成を交互に実行する。
• I3D、Inception-v3、LSTM、GRU、および通常のRNNを含む複数のモデルを用いて、UCF101およびHMDB51データセットで評価する。

実験結果

リサーチクエスチョン

• RQ1 追加ノイズと空間変換を統合的に最適化するフレームワークは、より現実的で効果的な敵対的動画攻撃を生成できるか？
• RQ2 ℓp-ノルムの代わりにSSIMを忠実度指標として用いることで、より知覚的に自然な敵対的例が得られ、現実世界の動画歪みをよりよく反映できるか？
• RQ3 ベイズ最適化は、高い攻撃成功率を達成できるスパース攻撃を可能にするために、動画シーケンス内で最も影響力のあるフレームを特定できるか？
• RQ4 提案手法は、LSTM や GRU などの再帰的アーキテクチャを含む多様な動画モデル間で、どれほど高い転送性を示すか？
• RQ5 1フレームのみを摂動することで、高い攻撃成功率を達成しながらも、高い転送性を維持できるか？

主な発見

• DeepSAVAは、1フレームのみを摂動することで、I3Dモデルで100％の攻撃成功率を達成し、極めてスパースかつ効果的であることを示した。
• UCF101データセットでは、1フレームのみを摂動することで、複数のモデルで99.5％～100％の攻撃成功率を達成し、最先端のベースラインを上回った。
• 転送性が強く、白ボックスLSTM攻撃から生成された敵対的例を用いて通常のRNNを攻撃した場合、フェイキング率は82.40％に達し、ベースラインのSparse法を上回った。
• LSTM や GRU などのRNNベースのモデルから他のRNNに攻撃を転送する際の成功率は約85％に達し、メモリ拡張アーキテクチャ間でも堅牢であることが示された。
• ℓp-ノルムの代わりにSSIMを用いることで、回転やスケーリングなどの自然な空間変換に対してより耐性があり、知覚的な現実性が向上した。
• Sparseベースラインと比較して、UCF101の全ターゲットモデルでより高いフェイキング率を達成した。LSTMでは85.34％、通常のRNNでは54.62％を記録し、優れた転送性を示した。