[論文レビュー] SMART: Skeletal Motion Action Recognition aTtack

He Wang, Feixiang He+5 more|arXiv (Cornell University)|Nov 16, 2019

Adversarial Robustness in Machine Learning参考文献 44被引用数 5

ひとこと要約

SMARTは、3次元骨格運動行動認識向けに、動的特性を考慮した知覚損失を活用して人間には見えない摂動を生成する、画期的な敵対的攻撃手法を提案する。複数のモデルおよびデータセットにおいて100%の攻撃成功率を達成すると同時に、きびしい人間の知覚的評価研究を通過し、時間系列の敵対的攻撃において運動ダイナミクスが不可視性に重要であることを示している。

ABSTRACT

Adversarial attack has inspired great interest in computer vision, by showing that classification-based solutions are prone to imperceptible attack in many tasks. In this paper, we propose a method, SMART, to attack action recognizers which rely on 3D skeletal motions. Our method involves an innovative perceptual loss which ensures the imperceptibility of the attack. Empirical studies demonstrate that SMART is effective in both white-box and black-box scenarios. Its generalizability is evidenced on a variety of action recognizers and datasets. Its versatility is shown in different attacking strategies. Its deceitfulness is proven in extensive perceptual studies. Finally, SMART shows that adversarial attack on 3D skeletal motion, one type of time-series data, is significantly different from traditional adversarial attack problems.

研究の動機と目的

• 3次元骨格運動に基づく行動認識モデルが敵対的攻撃に対してどれほど脆弱であるかを調査すること。
• 時間系列の骨格運動データに特有の低冗長性と高い知覚的感受性という課題に対処すること。
• 敵対的例が視覚的に自然で人間にとって区別がつかないことを保証する知覚損失関数の開発。
• 多様なモデルおよびデータセットにおいて白ボックスおよびブラックボックス設定の両方で攻撃の有効性を評価すること。
• 運動ダイナミクスが不可視性に与える影響が、静的画像ベースの攻撃とは異なることの実証的および知覚的証拠を提供すること。

提案手法

• SMARTは、分類損失（行動認識器をだますために）と、新しい知覚損失（自然さを保証するために）を同時に最小化する最適化フレームワークを採用する。
• 知覚損失は、運動ダイナミクスと骨格構造を明示的にモデル化し、時間的整合性と骨の長さの一貫性を制約として用いる。
• 分類損失と知覚損失のトレードオフを調整することで、攻撃成功率と不可視性の両立を図る。
• 転送性とモデルに依存しない摂動生成を活用することで、白ボックスおよびブラックボックス攻撃を両立させる。
• 摂動は3次元関節座標に適用され、運動のなめらかさを保ち、ジタリングを回避するように最適化される。
• ユーザーの評価と知覚的評価を評価パイプラインに統合し、敵対的運動の現実性を検証する。

実験結果

リサーチクエスチョン

• RQ1 低冗長性と高い知覚的感受性があるにもかかわらず、3次元骨格運動データに対する敵対的攻撃を不可視化することは可能か？
• RQ2 時間系列データにおける運動ダイナミクスの活用が、時間系列データにおける敵対的摂動の知覚的リアリズムにどのように影響するか？
• RQ3 SMARTは、既存の手法と比較して攻撃成功率および知覚的不可視性の点でどのように優れているか？
• RQ4 制御された知覚的評価研究において、人間の観察者は骨格運動シーケンスにおける敵対的摂動をどの程度検出できるか？
• RQ5 人間の知覚に「盲点」があり、運動摂動が検出できない領域が存在するのか。そして、敵対的攻撃はその盲点を活用できるか？

主な発見

• 白ボックス設定下でST-GCNに対して100%の攻撃成功率を達成し、最先端のCIASA手法を上回った。
• 知覚的評価において、平均して81.9%のユーザーが敵対的運動と本物の運動を区別できなかった。MHADでは83.97%、HDM05では80.83%の正確さを示した。
• l2ノルム攻撃よりも高い関節変位があるにもかかわらず、ユーザーはSMARTが生成した摂動を好んだ。これは、優れた知覚的リアリズムを示している。
• 知覚損失は、標準的なl-norm制約とは異なり、運動ダイナミクスと骨格構造をモデル化することで、著しく不審に見えにくくなる。
• 運動ダイナミクスが適切に保たれていれば、関節の大きな変位であっても不可視である可能性がある。これは、l-normが不可視性の主な指標であるという仮定に疑問を呈する。
• 本手法は、RNNおよびGNNベースの複数のモデル、およびNTU、HDM05、MHADといった複数のデータセットにわたって強く一般化可能であり、その多様性と強固さを確認した。