[論文レビュー] Universal 3-Dimensional Perturbations for Black-Box Attacks on Video Recognition Systems

Shangyu Xie, Han Wang+2 more|arXiv (Cornell University)|Jul 9, 2021

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、ブラックボックス攻撃における動画認識システムに対するユニバーサル3次元（U3D）摂動を提案する。この手法は、モデルへのアクセスが不要な状況でも、複数のDNNモデルを一括して欺くことのできる、転送可能で人間には検出されず、時間的に一貫性のある摂動を生成する。大規模な動画データセットにおいて高い攻撃成功率を達成するとともに、最先端の防御機構を回避し、計算コストを最小限に抑えてリアルタイムのストリーミング攻撃を可能にする。

ABSTRACT

Widely deployed deep neural network (DNN) models have been proven to be vulnerable to adversarial perturbations in many applications (e.g., image, audio and text classifications). To date, there are only a few adversarial perturbations proposed to deviate the DNN models in video recognition systems by simply injecting 2D perturbations into video frames. However, such attacks may overly perturb the videos without learning the spatio-temporal features (across temporal frames), which are commonly extracted by DNN models for video recognition. To our best knowledge, we propose the first black-box attack framework that generates universal 3-dimensional (U3D) perturbations to subvert a variety of video recognition systems. U3D has many advantages, such as (1) as the transfer-based attack, U3D can universally attack multiple DNN models for video recognition without accessing to the target DNN model; (2) the high transferability of U3D makes such universal black-box attack easy-to-launch, which can be further enhanced by integrating queries over the target model when necessary; (3) U3D ensures human-imperceptibility; (4) U3D can bypass the existing state-of-the-art defense schemes; (5) U3D can be efficiently generated with a few pre-learned parameters, and then immediately injected to attack real-time DNN-based video recognition systems. We have conducted extensive experiments to evaluate U3D on multiple DNN models and three large-scale video datasets. The experimental results demonstrate its superiority and practicality.

研究の動機と目的

• 動画認識におけるフレームごとのアドバルサリアル攻撃の限界、すなわち時間的整合性の欠如、高い計算コスト、およびAdvITのような防御機構による検出可能性を是正すること。
• 標的モデルのアクセスやクエリを一切不要とする、転送ベースのブラックボックス攻撃フレームワークを構築し、複数の動画DNNモデルを普遍的に欺くこと。
• 最先端の防御機構、包括してユニバーサルアドバルサリアルトレーニング、検出スキーム、および認証防御に対しても、人間による検出が困難で、耐性を示すこと。
• 低遅延（1フレームあたり約0.015秒）で、リアルタイムのストリーミング動画データに対して、効率的に摂動を生成・適用できること。

提案手法

• 本手法は、空間的および時間的次元において摂動の大きさを厳密に制限しつつ、DNNの特徴空間における特徴のずれを最大化することで、U3D摂動を生成する。
• 異なるモデル間での性能向上を図るため、動画DNNのレイヤーごとの特徴を明示的に標的とすることで、転送性を最適化する。
• 境界効果の低減を最適化プロセスに統合し、摂動と動画フレームとのずれを防ぐ。
• 転送ベースの戦略を用いることで、標的モデルに依存しないユニバーサル摂動の生成を可能とし、必要に応じてクエリ強化を組み込む。
• 摂動は事前学習済みパラメータを用いてオフラインで生成され、リアルタイムに注入されるため、計算コストを最小限に抑える。
• フレームワークはモデルに依存せず、さまざまな動画認識アーキテクチャおよびデータセットと互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックス環境下で、標的モデルへのアクセスやクエリが不要な状況でも、複数の動画認識モデルに効果的に転送可能なユニバーサル3次元摂動を生成できるか？
• RQ2 提案されたU3D攻撃は、従来のフレームごとのアドバルサリアル攻撃や2次元ベースの攻撃と比較して、転送性、人間による検出困難性、耐性の観点でどのように優れているか？
• RQ3 U3D摂動は、ユニバーサルアドバルサリアルトレーニング、検出スキーム、および認証防御（例：PixelDP、ランダム化スムージング）を含む、最先端の防御機構をどの程度効果的に回避できるか？
• RQ4 U3D摂動は、最小限の遅延でストリーミング動画データに対して効率的に生成・適用可能か？
• RQ5 時間的整合性と境界効果低減の統合が、攻撃の性能向上および人間による検出困難性にどのように寄与するか？

主な発見

• U3D攻撃は、C-DUP、V-BAD、H-Optといった最先端手法と比較して、3つの大規模な動画データセットにおいて顕著に高い攻撃成功率を達成した。
• U3D摂動は非常に高い転送性を示し、標的モデルへのアクセスやクエリを一切必要とせずに、複数の動画DNNモデルを効果的に欺いた。
• ユーザーによるアンケートによる検証を通じて、人間による検出が困難であることが確認され、AdvIT（最先端のアドバルサリアル例検出器）による検出も回避した。
• U3D摂動は、ユニバーサルアドバルサリアルトレーニング（UAT）、検出ベースの防御（例：AdvIT）、およびPixelDPやランダム化スムージングを含む認証防御など、複数の防御スキームを効果的に回避した。
• 計算コストを最小限に抑え、1フレームあたり約0.015秒の低遅延でリアルタイム攻撃が可能であり、ストリーミング動画応用に適している。
• 防御がU3D攻撃に適応された場合でさえも、従来の手法を上回る効果を示し、その耐性および実用的脅威の潜在的価値を裏付けた。