[論文レビュー] BASAR:Black-box Attack on Skeletal Action Recognition

Yunfeng Diao, Tianjia Shao+3 more|arXiv (Cornell University)|Mar 9, 2021

Adversarial Robustness in Machine Learning参考文献 58被引用数 6

ひとこと要約

本稿では、データ多様体と分類境界を効果的にナビゲートするガイド付き多様体ウォークを活用して、人間が認識できない、多様体上に位置する adversarial サンプルを生成する、骨格行動認識における最初のブラックボックス adversarial 攻撃手法 BASAR を提案する。BASAR は、複数のモデルとデータセットにおいて、標的攻撃および非標的攻撃の両設定で 100% の攻撃成功率を達成し、多様体上に位置する adversarial 例が骨格運動データにおいて一般的で、極めて欺瞞的であることを示している。

ABSTRACT

Skeletal motion plays a vital role in human activity recognition as either an independent data source or a complement. The robustness of skeleton-based activity recognizers has been questioned recently, which shows that they are vulnerable to adversarial attacks when the full-knowledge of the recognizer is accessible to the attacker. However, this white-box requirement is overly restrictive in most scenarios and the attack is not truly threatening. In this paper, we show that such threats do exist under black-box settings too. To this end, we propose the first black-box adversarial attack method BASAR. Through BASAR, we show that adversarial attack is not only truly a threat but also can be extremely deceitful, because on-manifold adversarial samples are rather common in skeletal motions, in contrast to the common belief that adversarial samples only exist off-manifold. Through exhaustive evaluation and comparison, we show that BASAR can deliver successful attacks across models, data, and attack modes. Through harsh perceptual studies, we show that it achieves effective yet imperceptible attacks. By analyzing the attack on different activity recognizers, BASAR helps identify the potential causes of their vulnerability and provides insights on what classifiers are likely to be more robust against attack. Code is available at https://github.com/realcrane/BASAR-Black-box-Attack-on-Skeletal-Action-Recognition.

研究の動機と目的

• 骨格行動認識における効果的なブラックボックス adversarial 攻撃の欠如に取り組む。これは、白ボックス攻撃の脆弱性は知られているものの、依然として未開拓な分野である。
• adversarial サンプルは常に多様体外にあるという一般的な仮定に挑戦し、骨格運動データにおいて多様体上に位置する adversarial サンプルが広く存在し、現実の脅威であることを示す。
• 運動ダイナミクスを保持することで、時間的整合性を損なうような疎な摂動を避けることで、人間が認識できないことを保証する手法を開発する。
• 多様なモデル、データセット、攻撃モード（非標的／標的）における攻撃成功率と品質を評価する。また、知覚的耐性についても検証する。
• 分類器の脆弱性に関する洞察を提供し、より強固な行動認識システムの設計に寄与する。

提案手法

• BASAR は、元の入力に近く、元のクラス境界の外にありながらもデータ多様体上に留まる adversarial サンプルを探索する制約付き最適化問題としてブラックボックス攻撃を定式化する。
• 局所的最小値から脱出するとともに、多様体上に位置する摂動を維持するため、意図的なプローブ、ランダムな探索、多様体への射影を組み合わせたガイド付き多様体ウォーク（GMW）戦略を採用する。
• 元のサンプルへの近接性、誤分類、視覚的妥当性のバランスを保つために、多様体上への摂動を多様体外への摂動よりも優先する。
• 距離関数を用いて元のサンプルと adversarial サンプルの類似度を測定し、歪みを最小限に抑える。
• 最大反復回数に達するまで、GMW のサブルーチンを繰り返し適用して反復的改善を図り、成功した人間が認識できない adversarial サンプルが得られるかを確認する。
• 知覚的評価を通じて、複数関節・複数フレームにわたる連携された攻撃が、疎な攻撃よりも運動ダイナミクスをよりよく保持していることを示している。

実験結果

リサーチクエスチョン

• RQ1 標的モデルの内部パrameterにアクセスできない状況下でも、骨格行動認識における効果的なブラックボックス adversarial 攻撃を構築できるか？
• RQ2 骨格運動データにおける adversarial サンプルは、主に多様体外に位置するのか、それとも多様体上に位置する adversarial サンプルも広く存在し、実際の脅威をもたらすのか？
• RQ3 骨格運動に対する adversarial 攻撃は、高い成功率と人間が認識できない性質を両立させることができるか？ また、自然な運動ダイナミクスを保持できるか？
• RQ4 データ多様体、分類境界、知覚的制約の相互作用が、攻撃の品質と成功率にどのように影響を与えるか？
• RQ5 BASAR の攻撃パターンの分析から、どの分類器アーキテクチャーや特徴量が adversarial 攻撃に対してより頑健であるか？

主な発見

• BASAR は、NTU および HDM05 データセットにおける STGCN、MSG3D、SGN モデルにおいて、標的攻撃および非標的攻撃の両設定で 100% の攻撃成功率を達成した。
• HDM05 データセットでは、BASAR はすべてのベースラインを上回り、次に優れた手法（SMART）でさえ標的攻撃で 30.31% の成功率にとどまった。
• 非標的攻撃では、BASAR が 100% の成功率を達成したが、最も優れたベースライン（MSG3D 上の SMART）は 99.33% にとどまり、ラベル転送結果は一貫性に欠けていた。
• バウンダリ攻撃（BA）は骨格構造を保持できず、100% のケースで骨の長さ制約に違反しており、骨格運動に不適切であることが示された。
• BASAR は、骨の長さ制約違反（SGN/UA で 0.00% 対 3.60%）を含むすべての指標で BA を大きく上回り、優れた視覚的品質を維持した。
• 本研究では、多様体上に位置する adversarial サンプルがまれではなく、骨格運動データにおいて一般的に存在することが明らかになった。これは、adversarial 例が本質的に不自然または多様体外にあるという仮定に反する。