[論文レビュー] Back to Optimization: Diffusion-based Zero-Shot 3D Human Pose Estimation

Zhongyu Jiang, Zhuoran Zhou+4 more|arXiv (Cornell University)|Jul 7, 2023

Human Pose and Action RecognitionComputer Science被引用数 3

ひとこと要約

本論文は、事前学習済みの拡散ベース3次元ポーズ生成モデルと反復最適化パイプラインを組み合わせることで、2次元キーポイント再投影誤差を最小化するゼロショット3次元人体ポーズ推定フレームワークであるZeDOを提案する。最適化ループ内で拡散モデルをノイズ除去正則化子として使用することにより、2D-3D や画像-3D のトレーニングペアを一切使用せずに、Human3.6M（minMPJPE 51.4 mm）および3DPW（PA-MPJPE 40.3 mm）で最先端の性能を達成した。

ABSTRACT

Learning-based methods have dominated the 3D human pose estimation (HPE) tasks with significantly better performance in most benchmarks than traditional optimization-based methods. Nonetheless, 3D HPE in the wild is still the biggest challenge for learning-based models, whether with 2D-3D lifting, image-to-3D, or diffusion-based methods, since the trained networks implicitly learn camera intrinsic parameters and domain-based 3D human pose distributions and estimate poses by statistical average. On the other hand, the optimization-based methods estimate results case-by-case, which can predict more diverse and sophisticated human poses in the wild. By combining the advantages of optimization-based and learning-based methods, we propose the extbf{Ze}ro-shot extbf{D}iffusion-based extbf{O}ptimization ( extbf{ZeDO}) pipeline for 3D HPE to solve the problem of cross-domain and in-the-wild 3D HPE. Our multi-hypothesis extit{ extbf{ZeDO}} achieves state-of-the-art (SOTA) performance on Human3.6M, with minMPJPE $51.4$mm, without training with any 2D-3D or image-3D pairs. Moreover, our single-hypothesis extit{ extbf{ZeDO}} achieves SOTA performance on 3DPW dataset with PA-MPJPE $40.3$mm on cross-dataset evaluation, which even outperforms learning-based methods trained on 3DPW.

研究の動機と目的

• ドメイン固有の分布やカメラパラメータバイアスによる制限により、学習ベースの3次元人体ポーズ推定（3D HPE）手法がクロスドメインおよびリアルワールドのシナリオで性能を発揮できない問題に対処する。
• 事前学習済みの拡散モデルを反復最適化パイプラインに統合することで、最適化ベースと学習ベースの手法の性能格差を是正する。
• 2D-3D や画像-3D のトレーニングペアを一切必要とせず、複数のデータセットに強く一般化するゼロショット3D HPEを実現する。
• カメラ内部パrameterを分離し、推論時に拡散ベースのポーズ事前分布を活用することで、多様なポーズやカメラ設定に対してより頑健になるようにする。

提案手法

• 反復最適化ループ内に、事前学習済みの拡散ベース3次元人体ポーズ生成モデルをノイズ除去正則化子として統合する。
• 2次元キーポイント再投影誤差を最小化するために、3次元ポーズパラメータとトランスレーションを調整するシンプルな3D HPE最適化パイプラインを用いる。
• 反復的リファインメントを実施：最適化器が3次元ポーズを更新し、その後拡散モデルがそれをノイズ除去することで、現実的な人体ボディ制約を強制する。
• 初期化品質を向上させるために、初期ポーズ最適化器を導入し、初期3次元ポーズを2次元キーポイントに回転・アライメントさせる。
• 初期化に際して、トレーニングポーズのK-平均クラスタリングを実施し、代表的なアンカーポーズを選択する。これはランダムサンプリングや生成法を上回る性能を発揮する。
• 拡散モデルの事前学習段階で回転およびフリップデータオーグメンテーションを適用し、複数のデータセットにわたる一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 微調整なしで、事前学習済みの拡散モデルを最適化ループ内での微分可能正則化子として効果的に再利用できるか？
• RQ2 反復的最適化と拡散ベースノイズ除去を組み合わせることで、未知のドメインにおけるゼロショット3D HPE性能がどのように向上するか？
• RQ3 初期ポーズ初期化とデータオーグメンテーションが最適化パイプラインの頑健性と精度に与える影響は何か？
• RQ4 拡散事前分布を組み込んだ最適化ベース手法は、エンドツーエンドの学習ベースモデルに比べて、クロスデータセット評価でどの程度優れているか？
• RQ5 推論品質と速度に影響を与える主要なハイパーパrameter（例：反復回数、サンプリング戦略）は何か？

主な発見

• ZeDOは、2D-3D や画像-3D のトレーニングペアを一切使用せず、Human3.6Mデータセットで最小MPJPE 51.4 mmを達成し、ゼロショット性能で最先端を記録した。
• 3DPWデータセットでは、クロスデータセット評価でPA-MPJPE 40.3 mmを達成し、3DPWでトレーニングされた学習ベースモデルを上回った。
• 初期ポーズ最適化器により、Human3.6MでMPJPEが9.3 mm（S=1）低下し、minMPJPEが2.0 mm（S=50）低下した。3DHPのようなより複雑なデータセットでは、より顕著な向上が得られた。
• 拡散モデルの事前学習段階でデータオーグメンテーションを適用することで、MPJPEが13.9 mm改善され、一般化性能への貢献が顕著に示された。
• Human3.6Mと3DHPの混合データセットを用いた拡散モデルの事前学習により、Human3.6Mで1.3 mm、3DHPで2.8 mmの性能向上が得られた。
• 最適な反復回数は約1000回であり、それ以上の反復では性能が頭打ちとなり、さらに反復しても性能向上が得られず、推論速度が低下する。