[論文レビュー] Appending Adversarial Frames for Universal Video Attack

Zhikai Chen, Lingxi Xie+3 more|arXiv (Cornell University)|Dec 10, 2019

Adversarial Robustness in Machine Learning参考文献 23被引用数 11

ひとこと要約

本論文は、動画クリップの末尾に「Thanks for watching」といったテキストフレームのような adversarial フレームを追加し、これらの新しいフレームに対してのみ摂動を適用する、画期的なユニバーサル動画攻撃手法を提案する。動画の時間的構造と終端フレームの低可視性を活用することで、高い攻撃成功率、低い可視性、および異なるモデル間での強力な転送性を達成し、ベースライン手法よりも誤検出率と adversarial 摂動の大きさの両面で優れている。

ABSTRACT

There have been many efforts in attacking image classification models with adversarial perturbations, but the same topic on video classification has not yet been thoroughly studied. This paper presents a novel idea of video-based attack, which appends a few dummy frames (e.g., containing the texts of `thanks for watching') to a video clip and then adds adversarial perturbations only on these new frames. Our approach enjoys three major benefits, namely, a high success rate, a low perceptibility, and a strong ability in transferring across different networks. These benefits mostly come from the common dummy frame which pushes all samples towards the boundary of classification. On the other hand, such attacks are easily to be concealed since most people would not notice the abnormality behind the perturbed video clips. We perform experiments on two popular datasets with six state-of-the-art video classification models, and demonstrate the effectiveness of our approach in the scenario of universal video attacks.

研究の動機と目的

• 画像ベースの攻撃と比較して、動画分類における adversarial 攻撃に関する包括的な研究の不足に取り組むこと。
• 動画の終端部における時間的冗長性と知覚への感受性の低さを活用し、より隠蔽性が高く効果的な攻撃手法を設計すること。
• 追加フレームによる入力空間の操作を通じて、異なる動画分類モデル間での adversarial 摂動の転送性を向上させること。
• 特にブラックボックス設定において、高攻撃成功率を維持しつつ adversarial ノイズの可視性を低減すること。

提案手法

• 動画クリップの末尾に1つ以上のダミーフレーム（例：「Thanks for watching」テキスト付き）を追加し、攻撃用の新たな入力を生成する。
• 元の動画フレームに影響を与えることなく、これらの追加フレームにのみ adversarial 摂動を適用する。
• モデルの予測をターゲットクラスにずらす最小摂動を計算するために、勾配ベースの最適化手法を用いる。
• 隣接フレーム間の特徴差を最小化することで、特徴空間の防御回避戦略を実装し、検出を回避する。
• 複数の動画にわたる攻撃方向を制約することで、ユニバーサル摂動戦略を採用し、転送性を向上させる。
• 中間層の特徴表現を用いて摂動を精緻化し、単純なフレーム差分検出器が存在する状況でも可視性を低減する。

実験結果

リサーチクエスチョン

• RQ1 フレームレベルの摂動と比較して、動画クリップに adversarial フレームを追加することで、より効果的かつ隠蔽性の高いユニバーサル攻撃が可能になるか？
• RQ2 共有されたダミーフレームの使用が、異なる動画分類モデル間での adversarial 摂動の転送性にどのように影響するか？
• RQ3 本手法は、高攻撃成功率を維持しつつ、どの程度可視性を低減できるか？
• RQ4 本手法が既存のユニバーサル攻撃手法よりも強い転送性を達成する理由は何か？
• RQ5 単純なフレーム差分に基づく防御に対して、本手法はどの程度頑健に機能するか？

主な発見

• 提案手法 A2FM は、UCF101 において I3D-ResNet で 98.1%、I3D-Inception で 98.0% の誤検出率を達成し、平均 adversarial 摂動（AAP）はそれぞれ 0.15 および 0.13 であり、BAM の 0.28 および 0.30 より顕著に低い。
• HMDB51 データセットでは、I3D-ResNet で 98.0%、I3D-Inception で 98.0% の誤検出率を達成し、AAP 値はそれぞれ 0.13 および 0.08 であり、優れた性能と低い可視性を示している。
• ターゲット攻撃において、A2FM は BAM と同等の誤検出率（例：I3D-ResNet で 97.7% 対 97.6%）を達成したが、AAP は 41% 減少（0.17 対 0.29）しており、より効率的な摂動であることが示された。
• 本手法は優れた転送性を示しており、あるモデルで計算された摂動が、未学習のモデルに対しても良好に一般化される。特に、複数の動画でダミーフレームを共有している場合に顕著である。
• メカニズム解析の結果、adversarial フレームを追加することで、攻撃方向がより一様になり、キャンセル効果が軽減され、頑健なユニバーサル摂動が可能になることが明らかになった。
• 摂動設計時に隣接フレーム間の特徴差を最小化することで、単純なフレーム差分ベースの防御を効果的に回避できることが示された。