[論文レビュー] Diffusion-Based 3D Human Pose Estimation with Multi-Hypothesis Aggregation

Wenkang Shan, Zhenhua Liu+6 more|arXiv (Cornell University)|Mar 21, 2023

Human Pose and Action Recognition被引用数 8

ひとこと要約

Diffusion-based framework (D3DP) が 2D キーポイント入力から複数の 3D ポーズ仮説を生成し、新規の関節ごとの再投影ベース手法（JPMA）でそれらを集約して高品質な単一の 3D ポーズを生成する; 公開ベンチマークで最先端の決定論的および確率的手法を上回る。

ABSTRACT

In this paper, a novel Diffusion-based 3D Pose estimation (D3DP) method with Joint-wise reProjection-based Multi-hypothesis Aggregation (JPMA) is proposed for probabilistic 3D human pose estimation. On the one hand, D3DP generates multiple possible 3D pose hypotheses for a single 2D observation. It gradually diffuses the ground truth 3D poses to a random distribution, and learns a denoiser conditioned on 2D keypoints to recover the uncontaminated 3D poses. The proposed D3DP is compatible with existing 3D pose estimators and supports users to balance efficiency and accuracy during inference through two customizable parameters. On the other hand, JPMA is proposed to assemble multiple hypotheses generated by D3DP into a single 3D pose for practical use. It reprojects 3D pose hypotheses to the 2D camera plane, selects the best hypothesis joint-by-joint based on the reprojection errors, and combines the selected joints into the final pose. The proposed JPMA conducts aggregation at the joint level and makes use of the 2D prior information, both of which have been overlooked by previous approaches. Extensive experiments on Human3.6M and MPI-INF-3DHP datasets show that our method outperforms the state-of-the-art deterministic and probabilistic approaches by 1.5% and 8.9%, respectively. Code is available at https://github.com/paTRICK-swk/D3DP.

研究の動機と目的

• 単眼設定における深度の曖昧さに対処するため、確率的な 3D 人間ポーズ推定を動機づける。
• 2D キーポイントを条件として複数のポーズ仮説を生成する diffusion-based 3D Pose Estimation (D3DP) フレームワークを提案する。
• 関節ごとに再投影ベースのマルチ・ホイポリシー集約（JPMA）を導入し、関節レベルの仮説を高品質な 1 つの 3D ポーズへ組み立てる。
• D3DP を既存の 3D ポーズバックボーンと適合させ、推論時の効率と精度をバランスさせる仕組みを提供する。

提案手法

• Diffusion-based 3D Pose Estimation (D3DP): 2D キーポイントを条件としてデノイザーを訓練し、拡散されたグラウンド truth ポーズからクリーンな 3D ポーズを回復する；K 個のカスタマイズ可能な反復で H 個のポーズ仮説を生成。
• 訓練は DDPM 風の損失に従う：L = || y0 - D(y_t, x, t) ||_2、y_t はノイズ付きグラウンドトゥルーポーズ、t は [0, T] で一様分布。
• 推論はガウスノイズから初期ポーズを H 件サンプルし、2D キーポイントを条件としたデノイザーで refin e する； DDIM ベースの再サンプリングにより K ステップで反復的な改良を行う。
• Joint-wise Reprojection-based Multi-Hypothesis Aggregation (JPMA): 3D ポーズ仮説を既知/推定内部パラメータを用いて 2D カメラ平面へ再投影し、関節ごとの再投影誤差を計算して各関節に最適な仮説を選択、最終的な 3D ポーズを組み立てる。
• JPMA は 2D priors を活用し、関節レベルでの集約を行うため、ポーズレベルの集約より upper-bound の性能が高い。
• アーキテクチャ：デノイザーのバックボーンとして MixSTE を用い、2D キーポイントとノイズ付き 3D ポーズを単純結合で融合；正弦波の timestep 埋め込みを使用。

実験結果

リサーチクエスチョン

• RQ1 diffusion モデルは 2D キーポイントから monocular 3D pose estimation のために複数のもっともらしい 3D ポーズ仮説を効果的に生成できるか？
• RQ2 再投影誤差による関節レベルの集約は、従来のポーズレベル集約や平均化より最終的な 3D ポーズの精度を改善するか？
• RQ3 仮説数(H) と反復回数(K) は実務上、精度と効率にどのような影響を与えるか？
• RQ4 提案する D3DP+JPMA フレームワークは既存の決定論的な 3D ポーズ推定器をバックボーンや条件付けスキームとして使用可能か？
• RQ5 関節ごとの集約によって標準ベンチマーク（Human3.6M、MPI-INF-3DHP、3DPW）でどの程度の改善が得られるか？

主な発見

• D3DP は単一仮説設定で Human3.6M における MPJPE の最先端を達成し、関節レベルの集約を用いるといくつかの確率的ベースラインを上回る。
• JPMA はポーズレベル集約より高い upper-bound の性能を実現し、2D 再投影誤差に導かれて関節ごとに最適な仮説を選択できる。
• 仮説数(H) と反復回数(K) の増加は関節レベル集約の下で結果を改善し、J-best による関節ごとの最適選択が P-best より有利である。
• MPI-INF-3DHP における決定論的・確率的ベースラインと比較して、D3DP は MPJPE を顕著に低減し、PCK および AUC スコアも競争力がある。
• 既存のバックボーン（例: MixSTE）との互換性が示され、H と K の controllable パラメータで精度と効率のバランスを取れる。
• 著者の GitHub でコードを公開: https://github.com/paTRICK-swk/D3DP。