[論文レビュー] Deep Monocular 3D Human Pose Estimation via Cascaded Dimension-Lifting

Changgong Zhang, Fangneng Zhan+1 more|arXiv (Cornell University)|Apr 8, 2021

Human Pose and Action Recognition参考文献 51被引用数 8

ひとこと要約

本稿では、外部の2次元キーポイント検出器に依存せずにRGB画像から3次元関節座標を直接回帰する、段階的次元拡張フレームワークを提案する。中間監視を用いて順次2次元キーポイント、ボーン構造、深さに敏感な表現を予測することで、Human3.6Mで48.7mmのMPJPE、MuPoTS-3Dで83.3%の3DPCKという最先端の性能を達成した。

ABSTRACT

The 3D pose estimation from a single image is a challenging problem due to depth ambiguity. One type of the previous methods lifts 2D joints, obtained by resorting to external 2D pose detectors, to the 3D space. However, this type of approaches discards the contextual information of images which are strong cues for 3D pose estimation. Meanwhile, some other methods predict the joints directly from monocular images but adopt a 2.5D output representation $P^{2.5D} = (u,v,z^{r}) $ where both $u$ and $v$ are in the image space but $z^{r}$ in root-relative 3D space. Thus, the ground-truth information (e.g., the depth of root joint from the camera) is normally utilized to transform the 2.5D output to the 3D space, which limits the applicability in practice. In this work, we propose a novel end-to-end framework that not only exploits the contextual information but also produces the output directly in the 3D space via cascaded dimension-lifting. Specifically, we decompose the task of lifting pose from 2D image space to 3D spatial space into several sequential sub-tasks, 1) kinematic skeletons \& individual joints estimation in 2D space, 2) root-relative depth estimation, and 3) lifting to the 3D space, each of which employs direct supervisions and contextual image features to guide the learning process. Extensive experiments show that the proposed framework achieves state-of-the-art performance on two widely used 3D human pose datasets (Human3.6M, MuPoTS-3D).

研究の動機と目的

• 文脈的な画像特徴と構造的監視を活用することで、単眼3次元人体ポーズ推定における深さの曖昧さを解消する。
• RGB画像から直接3次元ポーズを回帰することで、外部の2次元キーポイント検出器への依存を排除する。
• 推論時に真の深さが必要な2.5次元表現の制限を克服し、直接3次元出力を可能にする。
• ボーンヒートマップ、関節ヒートマップ、深さ中心のボリューム表現を用いた段階的監視により、一般化性能と精度を向上させる。

提案手法

• 骨ヒートマップを最初に予測することで骨格構造の学習をガイドする段階的ヒートマップ変換（S³HT）ブランチを導入する。
• 追加のアノテーションを必要とせず、キーポイント位置から導出された合成ヒートマップを用いて2次元関節推定を監視する。
• 正規化された深さ値をチャネルインデックスとして用い、2次元キーポイントヒートマップを立方体にマッピングすることで3次元ボリュームを構築する。
• 融合された特徴マップにsoft-argmaxを適用し、画像から直接(u, v, z)の3次元座標を回帰する。
• 文脈的な画像特徴を活用して高精度な深さ推定を可能にする、残差接続付きMLPを用いる3次元リフトリング。
• 段階的監視を採用：関節ヒートマップ、ボーン-関節ヒートマップブロック、深さ中心のボリューム監視により、訓練の安定化と精度向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 中間監視を用いた段階的次元拡張が、外部の2次元検出器に依存せずに3次元ポーズ推定の精度を向上させられるか？
• RQ2 正規化された深さインデックスに基づく深さに敏感なボリューム表現は、離散的順位付けや回帰と比較して、深さの曖昧さをどれほど低減できるか？
• RQ3 ボーン構造の監視が、3次元キーポイント予測の幾何学的整合性と精度にどの程度寄与するか？
• RQ4 統合されたエンドツーエンドフレームワークは、推論時に真の深さを一切使用せず、1人および複数人用の3次元ポーズベンチマークで最先端の性能を達成できるか？

主な発見

• 提案手法は、Human3.6Mデータセットにおけるプロトコル#1で48.7mmの平均関節位置誤差（MPJPE）を達成し、すべての先行単フレーム手法を上回った。
• MuPoTS-3Dベンチマークでは83.3%の3次元正解キーポイント割合（3DPCK）を達成し、トップダウン型複数人3次元ポーズ推定分野で新たな最先端を樹立した。
• 除去実験では、関節ヒートマップ監視に加えてボーン-関節ヒートマップ監視を追加することで、MPJPEが1.2mm低下した。
• すべての中間監視（JH + BH + DC）を備えた完全なモデルは、ベースラインの54.1mmからMPJPEを48.7mmに低下させ、顕著な性能向上を示した。
• 先行の2.5次元手法とは異なり、推論時に真の深さやカメラ内部パrameterを一切使用しないが、最先端の結果を達成した。
• わずかなパラメータ追加で顕著な精度向上が達成されたことから、効率的な設計と効果的な監視の有効性が示された。