[論文レビュー] Sparse Black-box Video Attack with Reinforcement Learning

Xingxing Wei, Huanqian Yan+1 more|arXiv (Cornell University)|Jan 11, 2020

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

本稿では、強化学習（SVA）を用いたスパースなブラックボックス動画攻撃を提案する。この手法は、キーフレーム選択と adversarial パーティクル生成を統合的に最適化する。動画認識モデルを環境とみなして、リアルタイムのフィードバックに基づき適応的にフレームを選択することで、C3D および LRCN モデルにおいて、効率的なクエリ使用と高い騙し率を維持しながら、adversarial パーティクルを顕著に削減する。

ABSTRACT

Adversarial attacks on video recognition models have been explored recently. However, most existing works treat each video frame equally and ignore their temporal interactions. To overcome this drawback, a few methods try to select some key frames and then perform attacks based on them. Unfortunately, their selection strategy is independent of the attacking step, therefore the resulting performance is limited. Instead, we argue the frame selection phase is closely relevant with the attacking phase. The key frames should be adjusted according to the attacking results. For that, we formulate the black-box video attacks into a Reinforcement Learning (RL) framework. Specifically, the environment in RL is set as the recognition model, and the agent in RL plays the role of frame selecting. By continuously querying the recognition models and receiving the attacking feedback, the agent gradually adjusts its frame selection strategy and adversarial perturbations become smaller and smaller. We conduct a series of experiments with two mainstream video recognition models: C3D and LRCN on the public UCF-101 and HMDB-51 datasets. The results demonstrate that the proposed method can significantly reduce the adversarial perturbations with efficient query times.

研究の動機と目的

• 従来のスパースな動画攻撃がフレーム選択と攻撃生成を独立して処理するという制限を解消すること。
• フレーム選択と攻撃生成を統合最適化問題としてモデル化することで、攻撃の効率性とパラメータのスパarsity（スパarsity）を向上させること。
• モデルのアーキテクチャやパrameterが未知であるブラックボックス設定下で、動画分類モデルにおける adversarial パーティクルを低減すること。
• ターゲットモデルとの連続的相互作用を通じて、フィードバック駆動型の適応的キーフレーム選択を可能にすること。

提案手法

• ブラックボックス動画攻撃を強化学習（RL）問題として定式化し、エージェントがキーフレームを選択してパラメータ変更を生成する。
• 動画認識モデルを環境と定義し、エージェントはパラメータ変更後のモデル予測確率の変化に基づいて報酬を受ける。
• ポリシー勾配法を用いてエージェントを訓練し、複数のクエリからの累積報酬に基づいてフレーム選択戦略を更新する。
• ブラックボックス設定における行動選択のための勾配推定技術（SignSGD、Sign-OPT、NES）を活用する。
• 攻撃フィードバックに基づき適応的にフレームを選択することで時間的整合性を確保し、最小限だが効果的なパラメータ変更を実現する。
• RLの探索により特定された最も影響力のあるフレームにのみパラメータ変更を制限することで、スパarsityを最適化する。

実験結果

リサーチクエスチョン

• RQ1 強化学習を用いることで、ブラックボックス動画攻撃におけるキーフレーム選択と adversarial パーティクル生成を効果的に統合最適化できるか？
• RQ2 ヒューリスティックなフレーム選択と比較して、フィードバック駆動型フレーム選択は攻撃の効率性とパラメータ変更の大きさをどのように改善するか？
• RQ3 異なる勾配推定手法が、提案された RL ベースの攻撃の性能と収束性に与える影響は何か？
• RQ4 提案手法は、標準的な動画ベンチマークにおいて、高い騙し率を維持しながら、どの程度クエリの複雑さを低減できるか？
• RQ5 適応的かつインタラクティブなフレーム選択戦略は、静的選択手法と比較して、より強力でスパースな adversarial 例を生成できるか？

主な発見

• 提案された SVA 法は、RL フィードバックに基づき適応的に選択されたキーフレームにのみ攻撃を集中させることで、顕著に adversarial パーティクルを低減する。
• SVA はパラメータ変更の大きさを低減しながらも高い騙し率を維持する。SignSGD と Sign-OPT を使用した場合、それぞれ NES を用いた SVA と比較して、騙し率が 10% および 5% よりも高い。
• 平均して約 20 エポックで収束し、報酬値が時間経過とともに安定化するため、効果的なポリシー学習が実現している。
• 10 エポックごとの平均報酬は徐々に増加し、安定化する傾向を示しており、複数の動画サンプルにおいて RL エージェントの信頼性ある収束が確認された。
• 異なる勾配推定手法（SignSGD、Sign-OPT、NES）は同等の性能を示し、SVA が勾配推定手法の選択に対して頑健であることを示している。
• 攻撃は非常にクエリ効率的であり、最小限のクエリオーバーヘッドで実現可能であるため、クエリが制限される実世界のブラックボックス環境に適している。