[論文レビュー] Double-chain Constraints for 3D Human Pose Estimation in Images and Videos

Hongbo Kang, Yong Wang+4 more|arXiv (Cornell University)|Aug 10, 2023

Human Pose and Action Recognition被引用数 5

ひとこと要約

本稿では、局所から全体、全体から局所への制約を二重枝構造により統合する、GCNと自己注意メカニズムを組み合わせた新しい3次元人体ポーズ推定モデルであるDouble-chain Graph Convolutional Transformer (DC-GCT)を提案する。Human3.6MおよびMPI-INF-3DHPで最先端の性能を達成し、検出された2Dポーズを用いたMPJPEが48.41mmであり、屋外画像に対しても高い一般化性能を示す。

ABSTRACT

Reconstructing 3D poses from 2D poses lacking depth information is particularly challenging due to the complexity and diversity of human motion. The key is to effectively model the spatial constraints between joints to leverage their inherent dependencies. Thus, we propose a novel model, called Double-chain Graph Convolutional Transformer (DC-GCT), to constrain the pose through a double-chain design consisting of local-to-global and global-to-local chains to obtain a complex representation more suitable for the current human pose. Specifically, we combine the advantages of GCN and Transformer and design a Local Constraint Module (LCM) based on GCN and a Global Constraint Module (GCM) based on self-attention mechanism as well as a Feature Interaction Module (FIM). The proposed method fully captures the multi-level dependencies between human body joints to optimize the modeling capability of the model. Moreover, we propose a method to use temporal information into the single-frame model by guiding the video sequence embedding through the joint embedding of the target frame, with negligible increase in computational cost. Experimental results demonstrate that DC-GCT achieves state-of-the-art performance on two challenging datasets (Human3.6M and MPI-INF-3DHP). Notably, our model achieves state-of-the-art performance on all action categories in the Human3.6M dataset using detected 2D poses from CPN, and our code is available at: https://github.com/KHB1698/DC-GCT.

研究の動機と目的

• 2次元画像からの3次元人体ポーズ推定の不適切な定式化を解消するため、複雑な関節依存関係をモデル化する。
• GCN（過剰平滑化）とTransformer（構造的幾何を無視）の限界を克服し、多段階の関節関係を捉える。
• 時間的情報を低コストで統合できる1フレーム3次元ポーズリフティングモデルを構築する。
• 人体骨格の構造的および文脈的モデリングを強化することで、制約のない屋外画像への一般化性能を向上させる。

提案手法

• 局所から全体、全体から局所への両方の流れを別々に処理する二重枝構造を設計し、多段階の関節依存関係をモデル化する。
• 隣接関節間の局所的空間的関係を捉えるために、Graph Convolutional Networks (GCN) を基盤とするLocal Constraint Module (LCM) を実装する。
• すべての関節にわたる長距離のグローバル関係をモデル化するため、自己注意メカニズムを用いたGlobal Constraint Module (GCM) を設計する。
• 局所とグローバルブランチの間の遷移段階で、クロスストリームの特徴交換を可能にするFeature Interaction Module (FIM) を導入する。
• ターゲットフレームのジョイント埋め込みを介して、動画シーケンスの埋め込みをガイドすることで、1フレームモデルに時間的モデリングを統合する。
• 局所ブランチとグローバルブランチ間のチャネルスプリット（C₁:C₂）を調整可能なパラメータとして設定し、性能とパラメータ数のバランスを制御する。

実験結果

リサーチクエスチョン

• RQ1 GCNと自己注意メカニズムを組み合わせた二重枝構造は、人体ポーズ推定における局所的およびグローバルな依存関係を効果的にモデル化できるか？
• RQ2 提案された二重鎖設計は、単一枝のGCNやTransformerモデルと比較して、3次元ポーズ推定の精度をどの程度向上させるか？
• RQ3 動画シーケンスからの時間的情報を、1フレーム3次元ポーズ推定モデルに効率的に埋め込むことは可能か？
• RQ4 提案手法は、複雑なオクルージョンや検出誤差を伴う制約のない屋外画像に対しても良好に一般化できるか？
• RQ5 精度と計算コストのバランスを最適化するための、チャネルスプリット（C₁:C₂）と入力フレーム数の最適な設定は何か？

主な発見

• DC-GCTは、CPNから得た検出された2Dポーズを用いて、Human3.6Mデータセットで48.41mmというMPJPEの新記録を樹立し、全行動カテゴリで先行手法を上回る性能を示した。
• 81フレームを入力とした場合、MPJPEは44.73mmにまで低下したが、フレーム数がさらに増加（例：243フレーム）しても性能は飽和し、あるシーケンス長を超えると利得が著しく減少することが示された。
• 最適な二重鎖構成はC₁:C₂ = 1:4（C=160）であり、この設定でMPJPEが48.41mm、パラメータ数が2.07Mにまで最低に抑えられた。
• MPI-INF-3DHPデータセットの屋外画像に対しても、多様な現実世界のシナリオで正確な3次元ポーズを予測する能力を示した。
• 改善が見られたものの、重度のオクルージョン、半身ポーズ、2D検出誤差の下では失敗ケースが依然として存在し、耐障害性の向上に向けた課題が残っている。
• 1フレームモデルに動画レベルの時間的情報を計算コストのわずかな増加で効率的に統合する手法を提案した。