[論文レビュー] Identifying and Resisting Adversarial Videos Using Temporal Consistency

Xiaojun Jia, Xingxing Wei+1 more|arXiv (Cornell University)|Sep 11, 2019

Adversarial Robustness in Machine Learning参考文献 31被引用数 11

ひとこと要約

本稿では、時間的整合性を活用して攻撃を検出するとともに、攻撃の種別に応じて適切な空間的または時間的ノイズ除去を適用する二段階の防御フレームワークを提案する。深層ネットワークにおけるフレーム間出力の一貫性が破壊されることに着目し、スパarsity攻撃および密度型攻撃を検出し、ComDefend（空間的）または時間的再構築（時間的）を用いて耐性を回復する。UCF-101で顕著な精度向上を達成している。

ABSTRACT

Video classification is a challenging task in computer vision. Although Deep Neural Networks (DNNs) have achieved excellent performance in video classification, recent research shows adding imperceptible perturbations to clean videos can make the well-trained models output wrong labels with high confidence. In this paper, we propose an effective defense framework to characterize and defend adversarial videos. The proposed method contains two phases: (1) adversarial video detection using temporal consistency between adjacent frames, and (2) adversarial perturbation reduction via denoisers in the spatial and temporal domains respectively. Specifically, because of the linear nature of DNNs, the imperceptible perturbations will enlarge with the increasing of DNNs depth, which leads to the inconsistency of DNNs output between adjacent frames. However, the benign video frames often have the same outputs with their neighbor frames owing to the slight changes. Based on this observation, we can distinguish between adversarial videos and benign videos. After that, we utilize different defense strategies against different attacks. We propose the temporal defense, which reconstructs the polluted frames with their temporally neighbor clean frames, to deal with the adversarial videos with sparse polluted frames. For the videos with dense polluted frames, we use an efficient adversarial denoiser to process each frame in the spatial domain, and thus purify the perturbations (we call it as spatial defense). A series of experiments conducted on the UCF-101 dataset demonstrate that the proposed method significantly improves the robustness of video classifiers against adversarial attacks.

研究の動機と目的

• 人間には検出できないほどの微小な摂動を利用する悪意ある攻撃に対して、深層動画分類器が脆弱であるという問題に取り組む。
• 画像ベースの防御の限界を克服するため、動画データに特有の時間的ダイナミクスを組み込む。
• 隣接フレーム間の出力の一貫性を用いて、悪意ある動画と通常の動画を区別する検出メカニズムを開発する。
• 攻撃パターン（スパarsity対象 vs. 密度型汚染）に応じた、空間的および時間的の適応型防御戦略を設計する。

提案手法

• 隣接する動画フレーム間におけるDNN出力の時間的整合性を検出信号として利用：通常の動画では高い整合性を示すが、摂動の増幅により悪意ある動画では整合性が低下する。
• 時間的整合性を定量化する指標を導入し、入力を「クリーン」「スパarsity攻撃」「密度型攻撃」の3種類に分類する。
• スパarsity攻撃に対する時間的防御：動き推定と隣接するクリーンなフレームを用いて、汚染されたフレームを再構築し、時間的整合性を回復する。
• 密度型攻撃に対する空間的防御：ComDefend（エンドツーエンドの画像圧縮ベースのノイズ除去器）を用い、フレーム単位で悪意ある摂動を除去する。
• 検出と防御を統合したパイプラインを構築：検出の出力に基づき防御戦略を選択することで、クリーン動画の性能を維持しつつ耐性を最大化する。

実験結果

リサーチクエスチョン

• RQ1 隣接する動画フレーム間におけるDNN出力の時間的整合性は、悪意ある動画攻撃を信頼性高く検出できるか？
• RQ2 本手法は、フレーム単位の出力挙動に基づいて、スパarsity攻撃と密度型攻撃をどのように区別するか？
• RQ3 時間的再構築は、キーフレームのみが汚染されるスパarsity攻撃に対して効果的に防御できるか？
• RQ4 ComDefendによる空間的ノイズ除去は、すべてのフレームが汚染される密度型攻撃に対して効果的に緩和できるか？
• RQ5 検出と適応型防御戦略の統合により、クリーン動画の精度を損なうことなく全体の耐性が向上するか？

主な発見

• 検出モジュールは、時間的整合性指標を用いて、動画を「クリーン」「スパarsity攻撃」「密度型攻撃」に成功して分類した。
• 時間的防御はスパarsity攻撃において顕著な精度向上を示した：CNN+LSTMの精度はスパarsity攻撃条件下で31%から55%に向上した。
• 空間的防御は密度型攻撃において優れた性能を発揮した：C3Dの精度は密度型攻撃条件下で59%から73%に向上した。
• 検出と適応型防御を統合したフレームワークは、独立した防御手法を上回る最高の全体精度を達成した。
• クリーン動画では時間的防御による精度低下が極めて小さく（防御攻撃による低下よりはるかに小さい）、通常入力と高い相性を示した。
• 本手法は、時間的および空間的における摂動伝搬の構造的差異を活用することで、最先端の動画悪意攻撃に対しても効果的に耐性を示した。