[論文レビュー] On the Robustness of Human Pose Estimation

Sahil Shah, Naman Jain+2 more|arXiv (Cornell University)|Aug 18, 2019

Adversarial Robustness in Machine Learning参考文献 64被引用数 5

ひとこと要約

本稿は、2次元単一人物ポーズ推定（HPE）モデルに対する敵対的攻撃の包括的かつ最初の研究を提示する。ヒートマップベースと直接回帰アーキテクチャの両方のモデルを評価し、ヒートマップベースのモデルが回帰ベースのモデルよりも著しく頑健であることを発見した。また、ユニバーサルノイズは非常に効果的かつ視覚的に判別しにくく、身体寸法制約が頑健性を向上させることも明らかにした。一方、標的攻撃は非標的攻撃よりも著しく困難であることが分かった。

ABSTRACT

This paper provides a comprehensive and exhaustive study of adversarial attacks on human pose estimation models and the evaluation of their robustness. Besides highlighting the important differences between well-studied classification and human pose-estimation systems w.r.t. adversarial attacks, we also provide deep insights into the design choices of pose-estimation systems to shape future work. We benchmark the robustness of several 2D single person pose-estimation architectures trained on multiple datasets, MPII and COCO. In doing so, we also explore the problem of attacking non-classification networks including regression based networks, which has been virtually unexplored in the past. \par We find that compared to classification and semantic segmentation, human pose estimation architectures are relatively robust to adversarial attacks with the single-step attacks being surprisingly ineffective. Our study shows that the heatmap-based pose-estimation models are notably robust than their direct regression-based systems and that the systems which explicitly model anthropomorphic semantics of human body fare better than their other counterparts. Besides, targeted attacks are more difficult to obtain than un-targeted ones and some body-joints are easier to fool than the others. We present visualizations of universal perturbations to facilitate unprecedented insights into their workings on pose-estimation. Additionally, we show them to generalize well across different networks. Finally we perform a user study about perceptibility of these examples.

研究の動機と目的

• 安全上の重要な応用分野へのHPEの導入が増加しているにもかかわらず、敵対的攻撃に対するHPEモデルの脆弱性を調査すること。これは、先行研究における重要な空白である。
• 特にヒートマップベースと直接回帰モデルの両方を比較し、敵対的摂動に対してどの程度頑健であるかを評価すること。
• HPEシステムに対する画像固有および画像に依存しない（ユニバーサル）敵対的攻撃の有効性を評価すること。
• マルチスケール処理、アテンション機構、身体寸法制約といった設計選択が頑健性に与える影響を分析すること。
• ユーザーによる評価スタディを通じて、敵対的例の可視化可能性を定量化し、モデルの頑健性と人間の視覚的認識との関連を明らかにすること。

提案手法

• MPIIおよびCOCOデータセットで学習された2次元単一人物HPEモデルに、最先端の勾配ベースの敵対的攻撃アルゴリズム（例：IGSM）を適用した。
• HPEに特化した標的攻撃および非標的攻撃を設計し、実行可能性と成功確率を評価するための慎重なハイパーパrameterチューニングを実施した。
• 異なるHPEアーキテクチャにわたる一般化を検証するため、ユニバーサル敵対的ノイズを生成・可視化した。
• 通常の指標（平均絶対誤差（MAE）およびPCK）を用いて、クリーンな予測と敵対的予測の両方を比較し、頑健性を評価した。
• 異なるノイズの大きさ（ε）における敵対的例の可視化可能性を測定するため、平均意見スコア（MOS）を用いたユーザースタディを実施した。
• 画像の反転や平滑化といった単純な画像処理防御策を検討し、画像固有のノイズとユニバーサルノイズに対する有効性を評価した。

実験結果

リサーチクエスチョン

• RQ1 特にヒートマップベースと直接回帰モデルの違いが、敵対的攻撃に対する頑健性にどのように影響を与えるか？
• RQ2 ユニバーサル敵対的ノイズは、異なるHPEモデル間でどれほど一般化され、画像に依存しないにもかかわらず効果的であるか？
• RQ3 標的攻撃は非標的攻撃よりもHPEモデルに対して実行が困難であるか？また、その実行にはどのようなハイパーパrameterチューニングが必要か？
• RQ4 どの身体関節が敵対的ノイズに対して最も脆弱であるか？また、モデルや攻撃タイプによってその傾向はどのように変化するか？
• RQ5 人間の観察者にとって敵対的ノイズはどの程度判別可能か？また、ノイズの大きさ（ε）と認識される視覚的障害の程度の関係は何か？

主な発見

• ヒートマップベースのHPEモデルは、直接回帰ベースのモデルよりも敵対的攻撃に対して著しく頑健であり、同じノイズ条件下でも誤差の増加が小さいことが分かった。
• ユニバーサル敵対的ノイズは、画像固有の反復的攻撃と同等の効果を持ち、計算コストが低く、異なるモデル間で転送可能である。
• 標的攻撃は非標的攻撃よりも著しく実行が困難であり、より精密なハイパーパrameterチューニングを要し、成功確率も低いことが分かった。
• 手首や足首といった末端関節は、仙骨や背骨といった中心部の関節よりも敵対的ノイズに対してより脆弱であることが判明し、人体全体における頑健性の差が明確になった。
• 敵対的ノイズの可視化可能性はノイズの大きさ（ε）に比例して上昇する。ε=8では47.93%のユーザーがノイズを判別したが、ε=32では97.84%に上昇し、MOSはε=8で1.96まで低下した。
• 画像反転は画像固有のノイズに対して効果的に機能し（攻撃成功確率が5–10%から70–75%に低下）、しかしユニバーサルノイズに対しては効果を示さず、その汎用性ゆえに反転後も依然として有効であった。