[論文レビュー] Over-the-Air Adversarial Flickering Attacks against Video Recognition Networks

Roi Pony, Itay Naeh+1 more|arXiv (Cornell University)|Feb 12, 2020

Adversarial Robustness in Machine Learning参考文献 36被引用数 4

ひとこと要約

本論文は、RGB LED電球から発生する微細で時間的に変化するRGB光ノイズを用いて、動画行動認識モデルを操作する空中経由の敵対的フレイクル攻撃を提案する。人間の観察者に気づかれにくく、時間的に不変となるように最適化することで、I3Dモデルに対して93％の欺瞞率を達成し、フレーム同期を必要としないモデル間での実世界への転送性を示した。

ABSTRACT

Deep neural networks for video classification, just like image classification networks, may be subjected to adversarial manipulation. The main difference between image classifiers and video classifiers is that the latter usually use temporal information contained within the video. In this work we present a manipulation scheme for fooling video classifiers by introducing a flickering temporal perturbation that in some cases may be unnoticeable by human observers and is implementable in the real world. After demonstrating the manipulation of action classification of single videos, we generalize the procedure to make universal adversarial perturbation, achieving high fooling ratio. In addition, we generalize the universal perturbation and produce a temporal-invariant perturbation, which can be applied to the video without synchronizing the perturbation to the input. The attack was implemented on several target models and the transferability of the attack was demonstrated. These properties allow us to bridge the gap between simulated environment and real-world application, as will be demonstrated in this paper for the first time for an over-the-air flickering attack.

研究の動機と目的

• 物理的な光変調を用いて、動画行動認識モデルに対する実世界で実用可能な敵対的攻撃を開発すること。
• 時間的滑らかさと空間時間的粗さの低減を通じて、人間の観察者に気づかれにくくなるように敵対的ノイズを保証すること。
• 入力動画の同期が不要な、普遍的で時間的に不変のノイズに一般化すること。
• 異なる動画認識モデル間での攻撃の転送性を実世界で実証すること。
• 動画分類システムにおけるシミュレートされた敵対的攻撃と実世界の物理的実装との間のギャップを埋めること。

提案手法

• 各フレームに一様なRGBノイズを適用し、自然な照明変化を模倣するフレイクルな時間的パターンを生成する。
• 最適化中に2つの正則化項を導入する：1つは時間的滑らかさ（フレイクルレートの低減）を、もう1つは振幅制御（気づかれにくさの最小化）を目的とする。
• 敵対的損失関数を変更し、ターゲットモデルを欺くことと、正則化による気づかれにくさの最小化を同時に最適化する。
• 行動やシーンに一般化可能な普遍的ノイズを構築し、入力動画の事前知識なしに適用可能にする。
• Wi-Fi制御可能なRGB LED電球を介して敵対的RGBパターンを空中で送信し、現実世界の照明状態を変調することで攻撃を実装する。
• 時間的に不変のノイズを用いることで、攻撃信号と動画入力のフレームレベル同期の必要性を排除する。

実験結果

リサーチクエスチョン

• RQ1 フレイクルな敵対的ノイズは、人間の観察者に気づかれにくく保ちつつ、動画行動認識モデルを効果的に欺けるか？
• RQ2 同期が不要な普遍的で時間的に不変の敵対的ノイズを、さまざまな動画入力に対して構築できるか？
• RQ3 実世界の設定において、攻撃は異なる動画認識モデルにどの程度転送可能か？
• RQ4 スマートRGB電球などの実際の照明デバイスを用いて、攻撃を物理的に成功裏に展開できるか？
• RQ5 時間的正則化と変更された敵対的損失の組み合わせが、ノイズの気づかれにくさと攻撃効果性をどのように向上させるか？

主な発見

• 提案されたフレイクル攻撃は、普遍的で時間的に不変のノイズを用いて、I3Dモデルにおける動画行動認識に対して93％の欺瞞率を達成した。
• ノイズが滑らかで時間的に制限されている場合、人間の観察者に気づかれにくく、動画例でその効果が確認された。
• Wi-Fi制御可能なRGB LED電球を用いて、現実世界の照明状態を変調する空中配信が成功裏に実装された。
• 攻撃は、Kinetics-400ベンチマークの異なる動画認識モデル間でも強く転送性を示した。
• 時間的に不変のノイズにより、入力動画とのフレーム同期が不要となり、実世界での応用が可能になった。
• カメラのRGB応答や色のクロストークが理想モデルと異なる場合でも攻撃は有効であり、実世界の条件下での頑健性が確認された。