[論文レビュー] HybrIK: A Hybrid Analytical-Neural Inverse Kinematics Solution for 3D Human Pose and Shape Estimation

Jiefeng Li, Chao Xu+4 more|arXiv (Cornell University)|Nov 30, 2020

Human Pose and Action Recognition参考文献 70被引用数 16

ひとこと要約

HybrIKは、相対回転をねじり（縦軸方向）とスイング（平面内）成分に分解することで、正確な3次元関節予測をリアルなピクセルに整合した3次元ボディメッシュに変換する微分可能でハイブリッドな解析的・ニューラル逆運動学手法を提案する。スイング成分は解析的に解き、ねじり成分はニューラルネットワークで学習する。追加の最適化や装飾的処理なしに3DPWベンチマークで13.2 mmのMPJPEおよび21.9 mmのPVEの改善を達成し、最先端の性能を実現した。

ABSTRACT

Model-based 3D pose and shape estimation methods reconstruct a full 3D mesh for the human body by estimating several parameters. However, learning the abstract parameters is a highly non-linear process and suffers from image-model misalignment, leading to mediocre model performance. In contrast, 3D keypoint estimation methods combine deep CNN network with the volumetric representation to achieve pixel-level localization accuracy but may predict unrealistic body structure. In this paper, we address the above issues by bridging the gap between body mesh estimation and 3D keypoint estimation. We propose a novel hybrid inverse kinematics solution (HybrIK). HybrIK directly transforms accurate 3D joints to relative body-part rotations for 3D body mesh reconstruction, via the twist-and-swing decomposition. The swing rotation is analytically solved with 3D joints, and the twist rotation is derived from the visual cues through the neural network. We show that HybrIK preserves both the accuracy of 3D pose and the realistic body structure of the parametric human model, leading to a pixel-aligned 3D body mesh and a more accurate 3D pose than the pure 3D keypoint estimation methods. Without bells and whistles, the proposed method surpasses the state-of-the-art methods by a large margin on various 3D human pose and shape benchmarks. As an illustrative example, HybrIK outperforms all the previous methods by 13.2 mm MPJPE and 21.9 mm PVE on 3DPW dataset. Our code is available at https://github.com/Jeff-sjtu/HybrIK.

研究の動機と目的

• 3次元キーポイント推定とパラメトリックボディモデリングの間のズレと構造的現実性の問題を解消する。
• 3次元ポーズと形状推定における深層ネットワーク学習を妨げるモデルベース手法の非線形的かつ抽象的なパラメータ空間を克服する。
• パラメトリックボディモデルによる解剖学的妥当性の強制により、3次元キーポイントベース手法の現実性を向上させる。
• 逆運動学における反復的最適化ステップを排除することで、3次元関節とメッシュ予測のエンドツーエンド微分可能訓練を可能にする。
• 3次元スケルトンとパラメトリックメッシュの間のループを、安定した微分可能IKソリューションによって閉じる。

提案手法

• 運動学的ツリー分解を用いて、相対関節回転をねじり（縦軸方向）とスイング（平面内）成分に分解する。
• 幾何的制約を用いて3次元関節位置からスイング回転を解析的に計算し、正確性と一貫性を確保する。
• 視覚的手がかりを用いてニューラルネットワークでねじり回転を学習し、複雑なポーズへのデータ駆動型適応を可能にする。
• 運動学的ツリーに沿ってねじりとスイング回転を再帰的に合成し、3次元関節から全身メッシュを再構成する。
• 3次元関節とメッシュヘッドのエンドツーエンド訓練を可能にするために、パイプライン全体の完全な微分可能性を確保する。
• パラメトリックなSMPLモデルを統合し、現実的な身体の比率を維持し、解剖学的不整合を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドな解析的・ニューラル逆運動学アプローチは、単眼3次元人体ポーズ推定における3次元関節の正確性とメッシュの現実性の両方を向上させ得るか？
• RQ2 ねじり・スイング分解は、3次元関節予測から正確で微分可能かつ頑健なメッシュ再構成を可能にするか？
• RQ3 学習されたねじり成分は、3次元関節推定の誤差をどれだけ是正できるか、かつ解剖学的妥当性を保持できるか？
• RQ4 提案手法は反復的最適化や後処理なしに、3次元スケルトンとパラメトリックメッシュの間のループを閉じられるか？
• RQ5 ハイブリッドアプローチは、メッシュの忠実度と関節の正確性の両面で、純粋なキーポイント推定とモデルベース最適化を上回るか？

主な発見

• HybrIKは3DPWで最先端の性能を達成し、前例となる手法よりも21.9 mmのPVE（Per-Vertex Error）を改善し、優れたメッシュ再構成忠実度を示した。
• 3DPWデータセットにおいて、HybrIKは前回の最先端手法よりも13.2 mmのMPJPEを改善し、3次元関節の正確性が向上したことを確認した。
• 適応型バージョンのHybrIKはノイズの多い入力関節に対して頑健であり、ナーヴィなバージョンと比較して運動学的ツリーに沿った誤差蓄積が少ない。
• HybrIKは、左対右非対称性や異常な四肢比といった非現実的なポーズを、SMPLモデルの統計的事前分布を強制することで是正した。
• 予測された関節に適用した結果、関節誤差が114.3 mm（SMPLify後）から79.2 mmに減少し、強力な誤差是正能力を証明した。
• 装飾的処理なしに、HybrIKはHuman3.6Mで6.6 mmのPA-MPJPE、MPI-INF-3DHPで10.8のAUCを改善し、広範な有効性を確認した。