[論文レビュー] NIMBLE: A Non-rigid Hand Model with Bones and Muscles

Yuwei Li, Longwen Zhang+7 more|arXiv (Cornell University)|Feb 9, 2022

Hand Gesture Recognition Systems被引用数 15

ひとこと要約

NIMBLEは、MRI由来の解剖学的データを用いて骨、筋肉、皮膚を統合する画期的なパラメトリック3次元手モデルを提示する。これにより、手アニメーションおよびレンダリングにおける画期的なリアリズムが実現される。形状/ポーズブレンドシェイプと微分可能関数の関節レグレッサーを用いて解剖学的および運動学的制約を強制することで、写真同等のリアルな手の合成が可能となり、高精細なデータ合成により学習ベースのポーズ推定が向上する。

ABSTRACT

Emerging Metaverse applications demand reliable, accurate, and photorealistic reproductions of human hands to perform sophisticated operations as if in the physical world. While real human hand represents one of the most intricate coordination between bones, muscle, tendon, and skin, state-of-the-art techniques unanimously focus on modeling only the skeleton of the hand. In this paper, we present NIMBLE, a novel parametric hand model that includes the missing key components, bringing 3D hand model to a new level of realism. We first annotate muscles, bones and skins on the recent Magnetic Resonance Imaging hand (MRI-Hand) dataset and then register a volumetric template hand onto individual poses and subjects within the dataset. NIMBLE consists of 20 bones as triangular meshes, 7 muscle groups as tetrahedral meshes, and a skin mesh. Via iterative shape registration and parameter learning, it further produces shape blend shapes, pose blend shapes, and a joint regressor. We demonstrate applying NIMBLE to modeling, rendering, and visual inference tasks. By enforcing the inner bones and muscles to match anatomic and kinematic rules, NIMBLE can animate 3D hands to new poses at unprecedented realism. To model the appearance of skin, we further construct a photometric HandStage to acquire high-quality textures and normal maps to model wrinkles and palm print. Finally, NIMBLE also benefits learning-based hand pose and shape estimation by either synthesizing rich data or acting directly as a differentiable layer in the inference network.

研究の動機と目的

• 骨以外の筋骨格的構造を含む、現実的で解剖学的に正確な3次元手モデルの不足を解消すること。
• 骨、筋肉、皮膚の連携変形をモデル化することで、高精細な手アニメーションおよびレンダリングを実現すること。
• 微分可能で現実的なデータ合成を通じて、学習ベースの手のポーズおよび形状推定を支援すること。
• 物理的制約と解剖学的正確性を統合したパラメトリックフレームワークを提供し、シミュレーションおよび推論の向上を図ること。
• 手モデリングおよびビジョン応用分野で使用可能な、骨、筋肉、皮膚の真値セグメンテーションを備えた包括的データセットの構築

提案手法

• 詳細なセグメンテーションを用いて、MRI-Handデータセット上で骨、筋肉、皮膚をアノテートし、解剖学的真値を確立する。
• 反復的形状登録を用いて物理的制約を組み込み、ボリュメトリックな手テンプレートを個々の被験者およびポーズに登録する。
• 20本の骨を三角メッシュとして、7つの筋肉群を四面体メッシュとして、皮膚をパラメトリックブレンドシェイプを備えた変形可能メッシュとして表現する。
• L2正則化パラメータと物理的一致性ペナルティを用いた最適化により、形状ブレンドシェイプ、ポーズブレンドシェイプ、および関節レグレッサーを学習する。
• 高品質なテクスチャおよびノーマルマップを捉えるために、光沢の高い皮膚外観（しわや掌の模様を含む）を再現するためのフォトメトリックHandStageを構築する。
• RGB、点群、またはMRI入力を用いたエンドツーエンドの学習ベースの手のポーズおよび形状推定に、NIMBLEを微分可能レイヤーとして統合する。

実験結果

リサーチクエスチョン

• RQ1 骨、筋肉、皮膚を含むパラメトリック3次元手モデルは、骨のみのモデルに比べて、アニメーションおよびレンダリングにおけるリアリズムをより高めることができるか？
• RQ2 非剛体手モデルにおいて、解剖学的および運動学的制約をどのように強制することで、物理的に妥当な変形を実現できるか？
• RQ3 NIMBLEが、現実的なデータ合成または微分可能レイヤーとしての統合を通じて、学習ベースの手のポーズおよび形状推定をどの程度向上できるか？
• RQ4 筋骨格的構造の統合は、特にしわやテクスチャの詳細において、手の外観の視覚的忠実度にどのような影響を与えるか？
• RQ5 完全な解剖学的セグメンテーションを備えたパラメトリックな手モデルは、下流のビジョンタスク向けに高品質で大規模なデータセット生成を可能にするか？

主な発見

• FreiHANDデータセットにおいて、NIMBLEはPA MPJPEが9.4 mmを達成し、最先端の手法とは異なる関節定義を用いているにもかかわらず、競争力のある性能を示した。
• HandStageを用いて捉えた高品質なテクスチャおよびノーマルマップにより、現実的な皮膚のしわや掌の模様を再現する写真同等のリアルな手のレンダリングを実現した。
• 解剖学的および運動学的ルールを強制することで、多様なポーズにおいて一貫した内部・外部変形を実現する現実的な手アニメーションが可能になった。
• NIMBLEを微分可能レイヤーとして統合することで、点群やMRIボリュームなど、挑戦的な入力からの学習ベースの手のポーズおよび形状推定が向上した。
• パラメトリック設計により効率的なデータ合成が可能となり、真値幾何、ポーズ、外観を備えた高品質で完全にアノテートされた手のデータセットの作成が可能になった。
• 筋肉駆動の皮膚変形と骨の動きを含む、完全な筋骨格系をモデル化することで、NIMBLEは既存のモデルに比べて視覚的リアリズムを顕著に向上させた。