[論文レビュー] HandNeRF: Neural Radiance Fields for Animatable Interacting Hands

Zhiyang Guo, Wengang Zhou+3 more|arXiv (Cornell University)|Mar 24, 2023

Human Pose and Action Recognition被引用数 4

ひとこと要約

HandNeRFは、多様なポーズにおける単一または相互作用する手の高精細で写真同等の再構成および新しい視点合成を可能にする統合型ニューラルレンダリングフィールドフレームワークを提案する。ポーズ駆動型変形フィールドを用いて標準化空間にマップし、深度誘導型密度最適化とニューラル特徴の蒸留を組み合わせることで、InterHand2.6Mデータセットにおいて、幾何、テクスチャ、オクルージョンの取り扱いの面で最先端の結果を達成した。

ABSTRACT

We propose a novel framework to reconstruct accurate appearance and geometry with neural radiance fields (NeRF) for interacting hands, enabling the rendering of photo-realistic images and videos for gesture animation from arbitrary views. Given multi-view images of a single hand or interacting hands, an off-the-shelf skeleton estimator is first employed to parameterize the hand poses. Then we design a pose-driven deformation field to establish correspondence from those different poses to a shared canonical space, where a pose-disentangled NeRF for one hand is optimized. Such unified modeling efficiently complements the geometry and texture cues in rarely-observed areas for both hands. Meanwhile, we further leverage the pose priors to generate pseudo depth maps as guidance for occlusion-aware density learning. Moreover, a neural feature distillation method is proposed to achieve cross-domain alignment for color optimization. We conduct extensive experiments to verify the merits of our proposed HandNeRF and report a series of state-of-the-art results both qualitatively and quantitatively on the large-scale InterHand2.6M dataset.

研究の動機と目的

• 複雑な自己オクルージョンと視野が限られた状況下でも、正確で写真同等の幾何と外観を再構成する課題に対処すること。
• ジェスチャーアニメーションやバーチャルリアリティ応用を想定し、高精細な新しい視点および新しいポーズの合成を可能にすること。
• ポーズに適応した変形とクロスドメイン特徴のアライメントを用いて、1本のNeRFベースのフレームワークで単一手と相互作用手のモデリングを統合すること。
• 従来のメッシュベースのモデルが高周波数の詳細を捉えることや、手の相互作用におけるオクルージョン領域を処理することに課題を抱えるのを克服すること。
• 深度監視と2次元教師ネットワークからのニューラル特徴の蒸留を用いて、密度予測とテクスチャ学習のロバスト性を向上させること。

提案手法

• ポーズに依存する変形フィールドが、異なる手のポーズからの光線を共通の標準化空間に変形させ、統合されたNeRF最適化を可能にする。
• 学習可能な誤差補正ネットワークが、標準的なブレンドスキンニングを上回る非剛性変形モデリングを強化する。
• 人間のポーズ事前知識から導出される疑似深度マップを、オクルージョンに配慮した密度学習を誘導し、幾何的正確性を向上させるために使用する。
• ニューラル特徴の蒸留により、事前学習済みの2次元教師ネットワークの特徴と3次元色フィールドの特徴をアライメントさせ、テクスチャ品質を向上させ、アーチファクトを低減する。
• 共有された標準化NeRFが、すべてのポーズにおいて幾何と外観をモデル化し、複数視点一貫性のあるボリュームレンダリングを実現し、新しい視点の合成を可能にする。
• 統合されたレイの組み合わせとマッピング戦略により、単一手と2本の相互作用手の両方のシナリオをサポートする。

実験結果

リサーチクエスチョン

• RQ1 統合型NeRFフレームワークは、多様なポーズにおいて、高い幾何的・テクスチャ的忠実度で単一および相互作用手を効果的にモデル化できるか？
• RQ2 人間のポーズ事前知識から得られる深度監視は、視認性が低い領域における密度推定とオクルージョン処理をどのように改善するか？
• RQ3 2次元教師ネットワークからのニューラル特徴の蒸留は、3次元手の再構成におけるテクスチャ品質の向上とアーチファクト低減にどの程度寄与するか？
• RQ4 ポーズ駆動型変形フィールドは、新しいポーズや視点における一般化性と一貫性をどのように向上させるか？
• RQ5 深度監視と特徴蒸留の相対的寄与度は、困難な手の相互作用シナリオにおける全体的なパフォーマンスにどの程度影響を与えるか？

主な発見

• 完全なパイプラインを用いた単一手再構成において、HandNeRFはPSNR 33.0204を達成し、特徴蒸留なし（32.8421）や深度監視なし（30.1057）のアブレーションを著しく上回った。
• アブレーションスタディの結果、深度監視により深度誤差（DE）が0.2106から0.1840に低下し、新しい視点レンダリングにおける幾何的一致性の向上が示された。
• ニューラル特徴の蒸留により、LPIPSは0.0488（蒸留なし）から0.0475に低下し、より優れた知覚的品質とテクスチャのリアリズムが実証された。
• TransRendererベースのニューラルレンダラーは、LPIPS 0.0479およびDE 0.1364という最低水準を達成し、微細なディテールの保持と深度正確性の向上を示した。
• モデルは、大規模なInterHand2.6Mベンチマークを用いた定性的および定量的評価を通じて、任意の視点から高精細で写真同等の画像および動画を生成できることを検証した。
• フレームワークは単一手と2本の相互作用手の両方のシナリオと互換性があり、多様な相互作用ポーズにおいて一貫性があり、ロバストなパフォーマンスを発揮した。