[論文レビュー] HybrIK-X: Hybrid Analytical-Neural Inverse Kinematics for Whole-body Mesh Recovery

Jiefeng Li, Siyuan Bian+4 more|arXiv (Cornell University)|Apr 12, 2023

3D Shape Modeling and Analysis被引用数 14

ひとこと要約

HybrIK-Xは、正確な3D関節を体の部位回転へ変換することでピクセル揃いの全身メッシュを回復する、解析的-ニューラル逆運動学のハイブリッドフレームワークを導入し、手と顔まで一段階モデルで拡張する。

ABSTRACT

Recovering whole-body mesh by inferring the abstract pose and shape parameters from visual content can obtain 3D bodies with realistic structures. However, the inferring process is highly non-linear and suffers from image-mesh misalignment, resulting in inaccurate reconstruction. In contrast, 3D keypoint estimation methods utilize the volumetric representation to achieve pixel-level accuracy but may predict unrealistic body structures. To address these issues, this paper presents a novel hybrid inverse kinematics solution, HybrIK, that integrates the merits of 3D keypoint estimation and body mesh recovery in a unified framework. HybrIK directly transforms accurate 3D joints to body-part rotations via twist-and-swing decomposition. The swing rotations are analytically solved with 3D joints, while the twist rotations are derived from visual cues through neural networks. To capture comprehensive whole-body details, we further develop a holistic framework, HybrIK-X, which enhances HybrIK with articulated hands and an expressive face. HybrIK-X is fast and accurate by solving the whole-body pose with a one-stage model. Experiments demonstrate that HybrIK and HybrIK-X preserve both the accuracy of 3D joints and the realistic structure of the parametric human model, leading to pixel-aligned whole-body mesh recovery. The proposed method significantly surpasses the state-of-the-art methods on various benchmarks for body-only, hand-only, and whole-body scenarios. Code and results can be found at https://jeffli.site/HybrIK-X/

研究の動機と目的

• 正確な3D関節と現実的なボディメッシュの間のギャップを埋めるため、3Dキーポイント推定とパラメトリックボディモデルを橋渡しする。
• 解析的スイング回転とニューラルツイスト角度を使用して体の部位回転を回復するハイブリッドIKソルバーを開発する。
• 手と顔を含む全身メッシュ回復を単一段階のフレームワークで拡張する。
• 遮蔽・トランケーションへの頑健性を向上させ、多専門家パイプラインと比べて計算量を削減する。

提案手法

• ツイストとスイングの分解を用いて、体の部位回転をスイング（解析的に解かれる）とツイスト（ニューラル）成分に分解する。
• 運動学ツリーに沿った回転を微分可能な前向き伝搬形式で解く。
• 体をサブツリー（胴体、手、顔）に分け、衝突する関節で一貫性を確保するために逆更新マージを適用してHybrIK-Xへ拡張する。
• RESTポーズ、形状beta、表情psiに対してSMPL/SMPL-Xモデルを活用し、リニアブレンドスキニングを通じて微分可能なメッシュを生成する。
• 2.5Dジョイント、ツイスト角、形状、表現パラメータを回帰してエンドツーエンドで訓練し、その後IKとFKを通じて全メッシュを回復する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッド解析-ニューラルIKパイプラインは、単眼画像からピクセル揃いの全身メッシュ回復を実現できるか？
• RQ2 ツイスト-スイングIKは、全3D回転の直接回帰よりも安定で現実的な体の部位回転を実現できるか？
• RQ3 1段階モデルは、遮蔽や切断に対処しつつ、別個の専門ネットワークを使わずに体、手、顔を信頼性高く回復できるか？
• RQ4 サブツリー間の逆更新マージは、全身再構成時の衝突関節の一貫性にどのように影響するか？

主な発見

• HybrIK-Xは、ツイストとスイングIKで体の部位回転を解くことにより、ピクセル揃いの全身メッシュ回復を達成する。
• スイング成分は3Dジョイントから解析的に解かれ、ツイスト成分はニューラルネットワークによって予測され、微分可能なエンドツーエンド訓練を可能にする。
• HybrIK-XはHybrIKを手と顔に拡張し、単一段階のフレームワークで、複数専門家パイプラインより効率を向上させる。
• サブツリー間の逆更新マージは、共有関節での衝突を減らし、統一的な全身再構成を可能にする。
• 本手法は、体のみ、手のみ、全身のベンチマークにおいて、SOTAと大きく上回る（と主張されている）。