[論文レビュー] Cross-Modal Transferable Adversarial Attacks from Images to Videos

Zhipeng Wei, Jingjing Chen+2 more|arXiv (Cornell University)|Dec 10, 2021

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、ImageNetで事前学習された画像モデルからブラックボックスの動画認識モデルへ摂動を転送する、クロスモーダルな adversarial 攻撃である Image To Video (I2V) 攻撃を提案する。この手法は、 adversarial フレームと良性フレームの間の中間特徴量のコサイン類似度を最小化することで、摂動を転送する。Kinetics-400 と UCF-101 における平均攻撃成功確率はそれぞれ 77.88% および 65.68% を達成し、顕著なクロスモーダル転送性を示している。

ABSTRACT

Recent studies have shown that adversarial examples hand-crafted on one white-box model can be used to attack other black-box models. Such cross-model transferability makes it feasible to perform black-box attacks, which has raised security concerns for real-world DNNs applications. Nevertheless, existing works mostly focus on investigating the adversarial transferability across different deep models that share the same modality of input data. The cross-modal transferability of adversarial perturbation has never been explored. This paper investigates the transferability of adversarial perturbation across different modalities, i.e., leveraging adversarial perturbation generated on white-box image models to attack black-box video models. Specifically, motivated by the observation that the low-level feature space between images and video frames are similar, we propose a simple yet effective cross-modal attack method, named as Image To Video (I2V) attack. I2V generates adversarial frames by minimizing the cosine similarity between features of pre-trained image models from adversarial and benign examples, then combines the generated adversarial frames to perform black-box attacks on video recognition models. Extensive experiments demonstrate that I2V can achieve high attack success rates on different black-box video recognition models. On Kinetics-400 and UCF-101, I2V achieves an average attack success rate of 77.88% and 65.68%, respectively, which sheds light on the feasibility of cross-modal adversarial attacks.

研究の動機と目的

• 画像モデルから動画モデルへの adversarial 摂動のクロスモーダル転送性を調査すること。
• ホワイトボックスの動画モデルにアクセスできない状況で、異なるデータモダリティ（画像対動画）間での adversarial 例の転送を課題として取り上げること。
• 画像モデルと動画モデルの共有された中間特徴空間を活用して、効果的なブラックボックス動画攻撃を実現する手法を開発すること。
• 画像モデルの中間層における特徴レベルの類似度最適化によって、転送性を向上させること。
• 現実世界の DNN 応用におけるクロスモーダル adversarial 攻撃の実現可能性と有効性を検証すること。

提案手法

• I2V 攻撃は、ImageNetで事前学習された画像モデルにおいて、 adversarial フレームと良性フレームの間の中間特徴量のコサイン類似度を最小化することで、 adversarial 動画フレームを生成する。
• 動画クリップの各フレームを独立して画像モデルに通し、特徴空間最適化を用いて adversarial フレームを生成する。
• 画像モデルと動画モデルの間で低レベル特徴表現に類似性が観察されることを活用し、クロスモーダル転送を可能にする。
• 攻撃は、中間層空間において adversarial 特徴が良性特徴に対して直交するように促進する損失関数を用いる。
• 複数の画像モデルを用いた攻撃を可能にする、エンsembles のバリエーションである ENS-I2V が提案されている。
• 時間的整合性は、元の動画クリップの時間的順序に従って生成された adversarial フレームをグループ化することで維持される。

Figure 1 : Overview of the proposed I2V attack. Given a video clip with a true label of “Catching or throwing baseball”, where each frame is input into the ImageNet-pretrained image model separately. Then the image model generates adversarial frames by minimizing the cosine similarity between featur

実験結果

リサーチクエスチョン

• RQ1 画像モデル上で生成された adversarial 摂動が、ブラックボックスの動画認識モデルへの攻撃に成功して転送可能か？
• RQ2 画像モデルと動画モデルの間に、クロスモーダル adversarial 転送を可能にする共有の中間特徴空間が存在するか？
• RQ3 ホワイトボックスの動画モデルにアクセスできない状況で、どのようにして動画モデル向けの adversarial 攻撃を設計できるか？
• RQ4 動画ラベルが入手できない状況で、画像から動画モデルへの転送性を最大化する最適化目的関数は何か？
• RQ5 複数の画像モデルを用いたアンサンブル攻撃は、クロスモーダル攻撃成功確率をさらに向上させられるか？

主な発見

• I2V 攻撃は、Kinetics-400 で平均 77.88%、UCF-101 で 65.68% の攻撃成功確率を達成し、顕著なクロスモーダル転送性を示している。
• ホワイトボックスの動画モデルにアクセスしないにもかかわらず、微調整されたベースライン攻撃（例：ILAF）を上回る性能を発揮している。
• Kinetics-400 では、ホワイトボックスモデルが TPN-101 の場合、I2V 攻撃はベースラインより性能が劣っている可能性がある。これは TPN-101 が優れた動きモデリングを備えているためと推測される。
• 画像特徴と動画特徴のコサイン類似度のトレンド間のピアソン積率相関係数（PCC）は 1 に近く、強い線形相関と効果的な特徴レベルの整合性を示している。
• ENS-I2V のバリエーションはさらに転送性を向上させており、アンサンブル攻撃が多様な動画モデルアーキテクチャにわたる耐性を高めることを示している。
• 結果から、画像と動画といった異なるモダリティ間でも、クロスモーダル adversarial 転送性が実現可能で効果的であることが確認された。

Figure 2 : Cosine similarity analysis of intermediate features between image models and video models on benign examples and adversarial examples. The cosine similarities are calculated on the averaged intermediate features extracted from 400 randomly selected videos in Kinetics-400. Adversarial vide