[論文レビュー] Benchmarking and Analyzing 3D Human Pose and Shape Estimation Beyond Algorithms

Hui En Pang, Zhongang Cai+3 more|arXiv (Cornell University)|Sep 21, 2022

Human Pose and Action Recognition被引用数 8

ひとこと要約

本論文は、アルゴリズム設計を超えた3次元人体ポーズおよび形状推定の包括的なベンチマーク研究を提示する。データ選択の最適化、強力な事前学習バックボーン（例：Twins-SVT）の使用、データオーグメンテーションとL1損失の適用により、著者らは3DPWで47.3 mmのPA-MPJPEを達成した。これはより単純なアーキテクチャでも最先端のモデルを上回り、今後の研究のための強力で公平なベースラインを確立した。

ABSTRACT

3D human pose and shape estimation (a.k.a. "human mesh recovery") has achieved substantial progress. Researchers mainly focus on the development of novel algorithms, while less attention has been paid to other critical factors involved. This could lead to less optimal baselines, hindering the fair and faithful evaluations of newly designed methodologies. To address this problem, this work presents the first comprehensive benchmarking study from three under-explored perspectives beyond algorithms. 1) Datasets. An analysis on 31 datasets reveals the distinct impacts of data samples: datasets featuring critical attributes (i.e. diverse poses, shapes, camera characteristics, backbone features) are more effective. Strategical selection and combination of high-quality datasets can yield a significant boost to the model performance. 2) Backbones. Experiments with 10 backbones, ranging from CNNs to transformers, show the knowledge learnt from a proximity task is readily transferable to human mesh recovery. 3) Training strategies. Proper augmentation techniques and loss designs are crucial. With the above findings, we achieve a PA-MPJPE of 47.3 mm on the 3DPW test set with a relatively simple model. More importantly, we provide strong baselines for fair comparisons of algorithms, and recommendations for building effective training configurations in the future. Codebase is available at http://github.com/smplbody/hmr-benchmarks

研究の動機と目的

• 3次元人体メッシュ回復における非アルゴリズム的要因（例：データセット選択、バックボーン選択、トレーニング戦略）の体系的評価の不足に対処すること。
• データの多様性（ポーズ、形状、カメラ視点、特徴）がモデル性能に与える影響を特定し、最適なデータセットの組み合わせを提案すること。
• 関連タスク（例：2次元ポーズ推定）での事前学習と強力なバックボーン（例：ビジョントランスフォーマー）の使用が性能向上に顕著に寄与することを示すこと。
• HMRおよび他のモデルの最適な設定を用いて、公平で強力なベースラインを確立し、新しいアルゴリズムの信頼できる比較を可能にすること。
• 再現可能性と今後の3次元人体メッシュ回復モデルのベンチマークのための公開コードベースを提供すること。

提案手法

• 31種類の多様なデータセットを評価し、特徴量の分布（UMAPを用いて）と3DPWにおける性能を分析することで、モデルの汎化性能への影響を評価した。
• CNN（ResNet、HRNet）とビジョントランスフォーマー（Twins-SVT）を含む10種類のバックボーンをベンチマークし、ポーズ推定モデルからの事前学習のアブレーションを実施した。
• さまざまなデータオーグメンテーション技術と損失関数を比較した結果、ノイズ低減と汎化性能向上の観点でL1損失が混合損失を上回ることが判明した。
• 最適化された設定を用いて、HMR、PARE、SPIN、GraphCMR、MeshGraphormerなど複数のアルゴリズムで広範なアブレーションスタディを実施した。
• トレーニングデータセットと3DPWテストセット間の分布シフト（ポーズ、形状、カメラ、バックボーン特徴）を評価するために、特徴空間解析を実施した。
• 再現可能性を確保し、今後のベンチマークに役立てるために、公開コードベースをリリースした。

実験結果

リサーチクエスチョン

• RQ1 異なるデータセットが3次元人体メッシュ回復性能に与える影響は何か？特にポーズの多様性、形状の変動、カメラ特性などの属性が、データセットの有効性にどのように寄与するか？
• RQ2 関連タスク（例：2次元ポーズ推定）からの知識を、事前学習を介して3次元メッシュ回復にどれほど効果的に転送できるか？
• RQ3 ノイズ低減と誤差最小化の観点で、最適なデータオーグメンテーションと損失関数設計の組み合わせは何か？
• RQ4 最適なデータセット、バックボーン、トレーニング戦略の設定を用いた場合、単純なモデルでも最先端の性能を達成できるか？
• RQ5 トレーニングデータと3DPW間のポーズ、形状、カメラ、バックボーン特徴の分布シフトが、モデルの汎化性能にどのように影響するか？

主な発見

• 特にポーズ、形状、カメラ視点の多様性が高い高品質なデータセットの組み合わせを用いることで、顕著な性能向上が得られ、MuCo-3DHPはMPI-INF-3DHPに比べて分布シフトを低減した。
• 強力な2次元ポーズ推定モデルでの事前学習により、バックボーンの品質が著しく向上し、Twins-SVTやHRNet-W32はこの方法で優れた性能を達成した。
• L1損失は、データオーグメンテーションと組み合わせることで、ノイズ低減と汎化性能向上の観点で混合損失を上回った。
• 最良のモデルは、最適化されたデータミックスとトレーニング戦略を用いた単純なHMRベースアーキテクチャで、3DPWテストセットで47.3 mmのPA-MPJPEを達成した。
• 本研究では、HMRおよび他のアルゴリズムの複数のデータセットとバックボーンに対して、強力で公平なベースラインを確立し、先行研究比でPA-MPJPEが最大10–15 mm改善された。
• 特徴量の分布解析から、Instavariety、COCO、AGORAなどのデータセットは、より多様で転送可能な特徴表現を有しており、3DPWへのドメインシフトを低減することが明らかになった。