[論文レビュー] Understanding the Robustness of Skeleton-based Action Recognition under Adversarial Attack

He Wang, Feixiang He+5 more|arXiv (Cornell University)|Mar 9, 2021

Adversarial Robustness in Machine Learning参考文献 50被引用数 8

ひとこと要約

本稿では、動きのダイナミクスと骨格構造を保持することで攻撃の不顕著性を確保するための知覚損失を活用した、3次元骨格に基づく行動認識向けの新規 adversarial 攻撃手法 SMART を提案する。本手法は、複数のモデルおよびデータセットにおいて白ボックスおよびブラックボックス設定の両方で高い成功率を示し、既存の行動認識器が高周速度および高加速度の関節に対して感受性を示すため、極めて脆弱であることが明らかになった。

ABSTRACT

Action recognition has been heavily employed in many applications such as autonomous vehicles, surveillance, etc, where its robustness is a primary concern. In this paper, we examine the robustness of state-of-the-art action recognizers against adversarial attack, which has been rarely investigated so far. To this end, we propose a new method to attack action recognizers that rely on 3D skeletal motion. Our method involves an innovative perceptual loss that ensures the imperceptibility of the attack. Empirical studies demonstrate that our method is effective in both white-box and black-box scenarios. Its generalizability is evidenced on a variety of action recognizers and datasets. Its versatility is shown in different attacking strategies. Its deceitfulness is proven in extensive perceptual studies. Our method shows that adversarial attack on 3D skeletal motions, one type of time-series data, is significantly different from traditional adversarial attack problems. Its success raises serious concern on the robustness of action recognizers and provides insights on potential improvements.

研究の動機と目的

• 最先端の 3次元骨格に基づく行動認識モデルが adversarial 攻撃に対してどれほど頑健であるかを調査すること。これは、ほとんど未開拓の分野である。
• 時間系列の骨格運動データを攻撃する際の特有の課題、例えば低冗長性や高い知覚感受性に対処すること。
• 動きのダイナミクスと構造的リアリズムを保持する効果的で不顕著な adversarial 攻撃手法を開発すること。
• 攻撃の一般化可能性、多様性、欺瞞性を、多様なモデル、データセット、攻撃戦略において評価すること。
• モデルの脆弱性に関する知見を提供し、今後の骨格に基づく行動認識における頑健性向上を支援すること。

提案手法

• 攻撃の成功と不顕著性の両立を図るために、分類損失と新規の知覚損失を同時に最小化する最適化ベースの adversarial 攻撃フレームワークである SMART を提案する。
• 動きのダイナミクスと骨格トポロジーを明示的にモデル化する知覚損失関数を導入し、自然な見た目の摂動を保証する。
• 分類損失による攻撃効果と知覚損失による知覚的リアリズムの両立を図る制約付き最適化プロセスを用い、ジャイターや骨格長の違反を回避する。
• モデルへのアクセスレベルに応じて最適化を適応させることで、白ボックスおよびブラックボックス攻撃を両立させる。
• 分類損失の目的関数を変更することで、標的攻撃と非標的攻撃の両方を実装する。
• 実世界での不顕著性を測定するために、人的な検証（AB テストおよび不顕著性評価）を広範に実施し、知覚的リアリズムを検証する。

実験結果

リサーチクエスチョン

• RQ1 最先端の 3次元骨格に基づく行動認識モデルは、adversarial 攻撃に対してどれほど脆弱であるか？
• RQ2 静的画像や動画とは対照的に、時間系列の骨格運動データを攻撃する際に生じる特有の課題は何か？
• RQ3 動きのダイナミクスと骨格構造をモデル化する知覚損失は、骨格に対する adversarial 攻撃の不顕著性を顕著に向上させられるか？
• RQ4 SMART の性能は、従来の攻撃手法（例：IAA、CIASA）と比較して、攻撃成功度と知覚的リアリズムの両面で優れているか？
• RQ5 現在の行動認識モデルが adversarial パーティクルに対して感受性を示す主な構造的および動的脆弱性は何か？

主な発見

• 白ボックス設定において、HRNN では 100%、STGCN では 99.57% の攻撃成功を達成し、IAA や CIASA よりも知覚的不顕著性に優れた性能を示した。
• 知覚的評価において、SMART が生成した adversarial サンプルは、IAA や CIASA よりも顕著に不顕著であり、HRNN ではそれぞれ 42.22% および 36.67% の不顕著性率を示した。
• 知覚的評価から、IAA や CIASA は摂動の大きさが小さくても、ジャイターや不自然な動きのダイナミクスのためしばしば失敗することが明らかになった。
• モデルは、高周速度および高加速度の関節に対して特に脆弱であり、現在のアーキテクチャの主要な弱みであることが示された。
• SMART の成功は、従来の摂動の大きさの制約だけでは骨格運動攻撃には不十分であることを示しており、動きのダイナミクスを明示的にモデル化する必要があることを示している。
• 本手法は、HRNN、STGCN、2S-AGCN などの複数のモデルおよび HDM05 などの複数のデータセットで強く一般化されることを確認し、その多様性と頑健性を裏付けた。