[論文レビュー] Attacking Video Recognition Models with Bullet-Screen Comments

Kai Chen, Zhipeng Wei+3 more|arXiv (Cornell University)|Oct 29, 2021

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、弾幕コメント（BSCs）を意味的で低可視性の adversarial パッチとして用いることで、動画認識モデルに対する新しいブラックボックス攻撃を提案する。攻撃を BSC の位置と透過度を最適化する強化学習（RL）問題として定式化することで、UCF-101 および HMDB-51 で 90% の欺瞞率を達成し、動画の遮蔽率が 8% 未塔に抑えられ、正方形パッチ攻撃に比べて著しく優れたステルス性と効率性を実現した。

ABSTRACT

Recent research has demonstrated that Deep Neural Networks (DNNs) are vulnerable to adversarial patches which introduce perceptible but localized changes to the input. Nevertheless, existing approaches have focused on generating adversarial patches on images, their counterparts in videos have been less explored. Compared with images, attacking videos is much more challenging as it needs to consider not only spatial cues but also temporal cues. To close this gap, we introduce a novel adversarial attack in this paper, the bullet-screen comment (BSC) attack, which attacks video recognition models with BSCs. Specifically, adversarial BSCs are generated with a Reinforcement Learning (RL) framework, where the environment is set as the target model and the agent plays the role of selecting the position and transparency of each BSC. By continuously querying the target models and receiving feedback, the agent gradually adjusts its selection strategies in order to achieve a high fooling rate with non-overlapping BSCs. As BSCs can be regarded as a kind of meaningful patch, adding it to a clean video will not affect people' s understanding of the video content, nor will arouse people' s suspicion. We conduct extensive experiments to verify the effectiveness of the proposed method. On both UCF-101 and HMDB-51 datasets, our BSC attack method can achieve about 90\% fooling rate when attacking three mainstream video recognition models, while only occluding extless 8\% areas in the video. Our code is available at https://github.com/kay-ck/BSC-attack.

研究の動機と目的

• ブラックボックス設定における動画認識モデルに対する有効なパッチベース攻撃の欠如に対処すること。
• 従来の長方形パッチではなく、弾幕コメント（BSCs）を用いることで、攻撃の可視性と疑わしさを低減すること。
• 強化学習を用いることで、ブラックボックス動画攻撃のクエリ効率性と欺瞞率を向上させること。
• 局所勾配スムージング（LGS）のような防御機構に対する BSC の頑健性を評価すること。

提案手法

• 攻撃を、ターゲットモデルからのフィードバックに基づいて BSC の位置と透過度を選択する強化学習（RL）問題として定式化する。
• 各動画フレームに対して、多様で意味のある BSC を自動生成するため、画像キャプションモデルを用いる。
• RL における二重報酬関数を設計：一つは欺瞞率の最大化、もう一つは BSC 間の IoU を最小化して重複を避けるため。
• フレーム間の逐次的意思決定を処理するため、LSTM と全結合層をエージェントの方策ネットワークとして採用する。
• モデルの予測結果のみをフィードバックとして使用するブラックボックス設定で攻撃を実行し、クエリ効率的な最適化を可能にする。
• 視覚的影響を最小限に抑えつつ、動画認識モデルの誤分類を最大化するように BSC を最適化する。

実験結果

リサーチクエスチョン

• RQ1 弾幕コメント（BSCs）は、動画認識モデルに対して効果的で、ステルス性の高い adversarial パッチとして機能するか？
• RQ2 BSC の位置と透過度を強化学習で最適化することで、ランダムまたはベースライン手法に比べ、攻撃の効率性と欺瞞率がどのように向上するか？
• RQ3 従来の正方形パッチと比較して、BSC はどの程度可視性と疑わしさを低減するか？
• RQ4 局所勾配スムージング（LGS）のような防御機構に対して、BSC はどの程度頑健か？
• RQ5 正方形パッチに比べて、BSC ははるかに少ない動画領域を遮蔽しながらも、高い欺瞞率を達成できるか？

主な発見

• BSC 攻撃は、3 つの主要な動画モデルを攻撃した際、UCF-101 および HMDB-51 データセットで 90% の欺瞞率を達成し、動画の遮蔽率は 8% 未塔に抑えられた。
• 正方形パッチと比較して、BSC は散らかった非長方形形状のため、遮蔽領域を 52% 以上削減した。
• C3D および LRCN モデルにおいて、強化学習はベースラインヒューリスティック（BH）手法に比べ、クエリ数を 22% 以上削減した。
• 同じ遮蔽領域において、BSC は正方形パッチを上回る欺瞞率を示し、特に I3D-Slow では HMDB-51 で 93.9% 対 67.3% と顕著な優位性を示した。
• LGS 防御に対して、BSC は正方形パッチよりも頑健であり、同じ条件下でもより高い欺瞞率を維持した。
• 視覚的注目度分析により、BSC は正方形パッチよりも目立たないことが確認され、一瞥で検出される可能性が低くなった。