[論文レビュー] A Graph Attention Spatio-temporal Convolutional Network for 3D Human Pose Estimation in Video

Junfa Liu, Juan Rojas+3 more|arXiv (Cornell University)|Mar 11, 2020

Human Pose and Action Recognition参考文献 45被引用数 12

ひとこと要約

本稿では、2次元ビデオキーポイントからリアルタイム3D人体ポーズ推定を実現するため、拡張時間畳み込みとグラフアテンションブロックを統合的に組み合わせたグラフアテンション時空間畳み込みネットワークGAST-Netを提案する。この手法により、局所的な運動学的接続、関節の対称性、およびグローバルなポーズ意味をモデル化し、深度の曖昧さと自己遮蔽を効果的に低減する。リアルタイム推論（最大1270 FPS）を達成し、再訓練なしに半身ポーズにも一般化可能である。

ABSTRACT

Spatio-temporal information is key to resolve occlusion and depth ambiguity in 3D pose estimation. Previous methods have focused on either temporal contexts or local-to-global architectures that embed fixed-length spatio-temporal information. To date, there have not been effective proposals to simultaneously and flexibly capture varying spatio-temporal sequences and effectively achieves real-time 3D pose estimation. In this work, we improve the learning of kinematic constraints in the human skeleton: posture, local kinematic connections, and symmetry by modeling local and global spatial information via attention mechanisms. To adapt to single- and multi-frame estimation, the dilated temporal model is employed to process varying skeleton sequences. Also, importantly, we carefully design the interleaving of spatial semantics with temporal dependencies to achieve a synergistic effect. To this end, we propose a simple yet effective graph attention spatio-temporal convolutional network (GAST-Net) that comprises of interleaved temporal convolutional and graph attention blocks. Experiments on two challenging benchmark datasets (Human3.6M and HumanEva-I) and YouTube videos demonstrate that our approach effectively mitigates depth ambiguity and self-occlusion, generalizes to half upper body estimation, and achieves competitive performance on 2D-to-3D video pose estimation. Code, video, and supplementary information is available at: \href{http://www.juanrojas.net/gast/}{http://www.juanrojas.net/gast/}

研究の動機と目的

• モノクローラルな3D人体ポーズ推定において、2次元キーポイントシーケンスからの深度の曖昧さと自己遮蔽を解消すること。
• 固定された入力長制約なしに、可変長のビデオシーケンスを処理できる柔軟でリアルタイムなフレームワークの開発。
• アテンションメカニズムを用いて、局所的関節接続、対称性、グローバルポーズといった運動学的制約のモデリングを向上させること。
• 人間-ロボットインタラクションなどの実世界の応用に適した、半身ポーズ推定への一般化を可能にすること。
• 空間的意味と時間的依存性を効果的に統合し、強化された時空間表現学習を実現すること。

提案手法

• 本モデルは、因果的畳み込みを用いた拡張時間畳み込みネットワーク（TCN）を採用し、長距離の時間的依存性を捉え、リアルタイムかつフレーム単位の推論を可能にする。
• 局所的な運動学的接続（遠位関節間の関係）と対称的関節関係をモデル化するために、グラフアテンションブロックを用いる。
• スフィンクス、左/右ヒップ、およびルート関節といったルート関連関節に注目することで、ポーズレベルの意味を学習するグローバルアテンションメカニズムを導入する。
• 時間的畳み込みとグラフアテンションブロックを交互に配置することで、時空間特徴の共同最適化を実現する。
• RGBビデオから得られる2次元キーポイントシーケンスを用いて、マルチヘッドアテンション機構により動的隣接行列を計算し、空間的モデリングを実現する。
• 入力受容fieldを変更可能なフレーム単位および複数フレーム推論をサポートし、速度と精度のトレードオフを実現する。

実験結果

リサーチクエスチョン

• RQ1 統合的なアーキテクチャが、3Dポーズ推定における深度の曖昧さを低減するために、局所的運動学的制約とグローバルポーズ意味を同時に効果的にモデル化できるか？
• RQ2 固定長入力制約なしに、可変長のビデオシーケンスを柔軟に処理できるように、時空間モデリングをどのように設計できるか？
• RQ3 グラフアテンション機構は、3Dポーズ再構築において、関節の対称性および遠位関節関係のモデリングをどの程度向上できるか？
• RQ4 全身データでの学習のみに依存するモデルが、半身ポーズ推定にも一般化可能か？
• RQ5 リアルタイム3Dポーズ推定において、受容fieldのサイズを変更した場合の、推論速度と精度のトレードオフはどのようなものか？

主な発見

• GAST-Netは、レイヤーワイズのフレーム処理により、最大1270 FPSというリアルタイム推論速度を達成し、フレーム単位推論（74 FPS）を著しく上回る。
• 部分的自己遮蔽を伴う野球のスイングなどの遮蔽状況において、グローバルポーズ意味と時間的連続性を活用することで、ポーズ再構築誤差が低減されている。
• 定性的な結果から、局所的運動学的接続が欠落すると、特にヨガシーケンスにおいて遠位関節の位置に顕著な曖昧さが生じることが明らかになった。
• 本モデルは、全身データでの学習のみに依存しても、半身ポーズ推定に効果的に一般化され、妥当な3D再構築が可能である。
• グローバルアテンション行列は、背骨、左/右ヒップ、およびルート関節との強い接続を強調しており、これらが3D構造再構築における安定化要因として機能していることが示唆された。
• 失敗事例は主に、大きな2Dキーポイント検出誤差（例：アイススケート）や長期的な重度の遮蔽（例：壁登り）に起因しており、モデルの入力品質への感受性が確認された。