[論文レビュー] Towards Understanding the Adversarial Vulnerability of Skeleton-based Action Recognition

Tianhang Zheng, Liu Sheng+4 more|arXiv (Cornell University)|May 14, 2020

Adversarial Robustness in Machine Learning参考文献 48被引用数 14

ひとこと要約

本稿では、ADMMを用いた制約付き最適化フレームワークを提案し、行動認識モデルに対して人間が認識できない、生理的・物理的に妥当な敵対的スケルトン行動を生成するとともに、ガウスノイズとフィルタリングを用いた認証防御を導入している。最小限の制約違反で100%に達する高い攻撃成功率を達成しており、スケルトンベースのシステムにおける顕著な敵対的脆弱性を示している。

ABSTRACT

Skeleton-based action recognition has attracted increasing attention due to its strong adaptability to dynamic circumstances and potential for broad applications such as autonomous and anonymous surveillance. With the help of deep learning techniques, it has also witnessed substantial progress and currently achieved around 90\% accuracy in benign environment. On the other hand, research on the vulnerability of skeleton-based action recognition under different adversarial settings remains scant, which may raise security concerns about deploying such techniques into real-world systems. However, filling this research gap is challenging due to the unique physical constraints of skeletons and human actions. In this paper, we attempt to conduct a thorough study towards understanding the adversarial vulnerability of skeleton-based action recognition. We first formulate generation of adversarial skeleton actions as a constrained optimization problem by representing or approximating the physiological and physical constraints with mathematical formulations. Since the primal optimization problem with equality constraints is intractable, we propose to solve it by optimizing its unconstrained dual problem using ADMM. We then specify an efficient plug-in defense, inspired by recent theories and empirical observations, against the adversarial skeleton actions. Extensive evaluations demonstrate the effectiveness of the attack and defense method under different settings.

研究の動機と目的

• 摂動が人間にとって認識できないこと、物理的に現実的であることの制約のもとで、実世界のシナリオにおけるスケルトンベースの行動認識モデルの敵対的脆弱性を理解すること。
• 固定された骨の長さ、小さな関節角の変化、制限された運動速度といった厳密な空間的・時間的制約の下で、敵対的スケルトン行動を生成する課題に対処すること。
• 人間の解剖学的・物理的制約を尊重しつつも、高い成功率を維持できる効率的な攻撃手法を開発すること。
• ガウスノイズとフィルタリングを用いた認証防御メカニズムを提案し、敵対的スケルトン行動に対する耐性を高めること。

提案手法

• 骨の長さ、関節角、運動速度に関する数学的制約を含む制約付き最適化問題として、敵対的スケルトン行動の生成を定式化する。
• 交替方向乗数法（ADMM）を用いて、取り扱いが困難なプライマル問題を非制約のデュアル問題に変換する。
• ADMMを用いてデュアル問題を最適化し、内部の最小化にはAdam、外部の最大化には1ステップ勾配上昇法を用いる。
• 推論時にガウスノイズを適用し、行動シーケンスにガウスフィルタリングを施す、プラグイン型の防御を設計する。これは認証防御理論にインspiredされたものである。
• 訓練と認証の両方で同じノイズレベルを用いることで、ℓ₂摂動下での認証耐性を達成する。
• プライマル問題とデュアル問題の双対性を活用し、制約の満たし方を保証するとともに、効率的な最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 敵対的スケルトン行動において、人間が認識できないこと、再現可能であることの確保のため、守らなければならない主な物理的・解剖学的制約は何か？
• RQ2 直接的な既存攻撃手法の適用が不可能な複雑で非自明な制約のもとで、どのように敵対的スケルトン行動を生成できるか？
• RQ3 制約違反が敵対的行動の現実性および検出可能性に与える影響は何か？
• RQ4 認証防御はスケルトンベースの行動認識に効果的に適用可能か？また、どの程度の耐性が達成可能か？
• RQ5 標的攻撃と非標的攻撃の両設定において、異なるデータセットおよびモデルアーキテクチャの下で攻撃性能はどのように変化するか？

主な発見

• 非標的設定下でKinetics-400データセット上で100%の攻撃成功率を達成し、制約違反は最小限（ΔB/B < 2.7%、ΔK/K < 0.17）であった。
• 標的攻撃設定下でも高い成功率（HCNで90.2%、2s-AGCNで99.2%）を維持しており、微小な摂動（ℓ₂ ≈ 0.1–1.0）と小さな関節角変化（ΔJ/J < 0.22）で実現された。
• 防御手法はℓ₂ = 0.5で約50%の認証正答率を達成し、クリーン正答率は10–20%低下したが、有効な耐性認証を示した。
• HCNや2s-AGCNといった最先端モデルを、『水を飲む』といった通常の行動に「蹴り」「パンチ」などの暴力的行動を誤認させる攻撃に成功した。
• Kinetics-400の400種類の行動クラスが存在する中でも、攻撃は依然として効果的であり、多様な行動空間にわたる良好な一般化性能を示した。
• 可視化と定量的結果から、摂動が人間には認識できないこと、再現可能であることが確認され、敵対的例の現実性が裏付けられた。