[論文レビュー] TransPose: Towards Explainable Human Pose Estimation by Transformer

Sen Yang, Zhibin Quan+2 more|arXiv (Cornell University)|Dec 28, 2020

Human Pose and Action Recognition被引用数 41

ひとこと要約

TransPoseは、キーポoin間の空間的依存関係を明らかにするために注目メカニズムを活用することで、解釈可能性を向上させたTransformerベースのアーキテクチャを提案する。COCOで最先端の精度を達成するとともに、完全畳み込みネットワークよりも軽量かつ効率的であり、注目マップによりキーポイント推論の画像固有の説明が可能である。

ABSTRACT

Deep Convolutional Neural Networks (CNNs) have made remarkable progress on human pose estimation task. However, there is no explicit understanding of how the locations of body keypoints are predicted by CNN, and it is also unknown what spatial dependency relationships between structural variables are learned in the model. To explore these questions, we construct an explainable model named TransPose based on Transformer architecture and low-level convolutional blocks. Given an image, the attention layers built in Transformer can capture long-range spatial relationships between keypoints and explain what dependencies the predicted keypoints locations highly rely on. We analyze the rationality of using attention as the explanation to reveal the spatial dependencies in this task. The revealed dependencies are image-specific and variable for different keypoint types, layer depths, or trained models. The experiments show that TransPose can accurately predict the positions of keypoints. It achieves state-of-the-art performance on COCO dataset, while being more interpretable, lightweight, and efficient than mainstream fully convolutional architectures.

研究の動機と目的

• 人体ポーズ推定における深層畳み込みニューラルネットワーク（CNN）の解釈可能性の欠如、特にキーポイント位置の予測方法に関する課題を解決すること。
• ポーズ推定モデルが学習する空間的依存関係、特にボディジョイントなどの構造的変数間の関係を調査すること。
• 主流の完全畳み込みネットワークを凌駕する、軽量で効率的かつ解釈可能なアーキテクチャを開発すること。
• 注目メカニズムがキーポイント予測の合理的な説明として機能することを、学習された空間的関係の可視化によって検証すること。

提案手法

• キーポイント間の局所的および長距離の空間的関係を同時にモデル化できるように、低レベルの畳み込み特徴とTransformerブロックを統合する。
• Transformer内の自己注意層を用いて、画像全体にわたるキーポイント間の依存関係を捉え、予測の根拠を説明可能にする。
• 畳み込み特徴抽出とTransformerベースの推論を組み合わせたハイブリッドアーキテクチャを構築し、精度と解釈可能性を向上させる。
• 注目重みを解釈可能な説明として活用し、各関節の予測にどの画像領域やキーポイントが影響を与えているかを示す。
• 標準のポーズ推定損失関数を用いて、COCOデータセット上でエンドツーエンドでモデルを学習する。
• 異なるキーポイントタイプ、ネットワークの深さ、学習済みモデルにおける注目パターンを分析し、一貫性と特異性を評価する。

実験結果

リサーチクエスチョン

• RQ1 Transformerベースのモデルにおける注目メカニズムは、ポーズ推定の過程で人体キーポイント間の空間的依存関係をどのように明らかにするか？
• RQ2 TransPoseの注目パターンは、画像固有およびキーポイントタイプ固有の関係をどの程度反映しているか？
• RQ3 注目マップは、人体ポーズ推定におけるキーポイント予測の信頼性があり解釈可能な説明として機能するか？
• RQ4 精度、効率性、モデルの解釈可能性の観点から、TransPoseは最先端の完全畳み込みネットワークと比べてどのように差をつけるか？

主な発見

• TransPoseは、COCOキーポイント検出ベンチマークで最先端のパフォーマンスを達成し、既存の完全畳み込みアーキテクチャを上回っている。
• TransPoseの注目メカニズムは、キーポイントタイプやネットワークの深さに応じて変化する、画像固有のキーポイント間空間的依存関係を明らかにしている。
• 注目マップは、画像内の文脈的関係に基づいて各キーポイントの位置がどのように予測されているかを意味のある解釈可能な説明として提供している。
• 解釈可能性が向上しているにもかかわらず、主流の完全畳み込みネットワークよりも軽量で効率的である。
• 注目によって明らかにされた空間的依存関係はキーポイントタイプごとに一様ではなく、モデルが構造的で解剖学的に妥当な関係を学習していることを示している。
• 異なる学習済みモデル間で一貫性があり合理的な注目パターンを示しており、注目が説明メカニズムとして有効であることを裏付けている。