[論文レビュー] VolTeMorph: Realtime, Controllable and Generalisable Animation of Volumetric Representations

Stephan J. Garbin, M. Kowalski+6 more|arXiv (Cornell University)|Aug 1, 2022

Human Motion and Animation被引用数 15

ひとこと要約

VolTeMorphは、NeRFのようなボリュームリック表現を、神経放射場の写実的美しさを保ちつつ変形可能な四面体メッシュを用いて、リアルタイムで制御可能かつ一般化可能な方法でアニメートする手法を提案する。アーティストフレンドリーなアニメーションをブレンドシェイプや物理シミュレーションで実現でき、未観測の表情や動きに対しても対応可能である。

ABSTRACT

The recent increase in popularity of volumetric representations for scene reconstruction and novel view synthesis has put renewed focus on animating volumetric content at high visual quality and in real-time. While implicit deformation methods based on learned functions can produce impressive results, they are `black boxes' to artists and content creators, they require large amounts of training data to generalise meaningfully, and they do not produce realistic extrapolations outside the training data. In this work we solve these issues by introducing a volume deformation method which is real-time, easy to edit with off-the-shelf software and can extrapolate convincingly. To demonstrate the versatility of our method, we apply it in two scenarios: physics-based object deformation and telepresence where avatars are controlled using blendshapes. We also perform thorough experiments showing that our method compares favourably to both volumetric approaches combined with implicit deformation and methods based on mesh deformation.

研究の動機と目的

• 既存のNeRFアニメーション手法の限界に対処する。これらはしばしばブラックボックス的であり、大量のトレーニングデータを必要とし、学習済みの動きを超えて一般化できない。
• コンsumerハードウェア上で動的ボリュームリックコンテンツのリアルタイムレンダリングを実現しつつ、高い視覚的忠実度を維持する。
• 多様なオブジェクトおよびアバター、特にパーソナライズされた人間の頭部を含む、スケーラブルなコンテンツ制作を支援する。
• ブレンドシェイプや物理ベースのシミュレーションを含む、既存のアニメーション制御メカニズムとの互換性を確保する。
• 微分可能で解釈可能な変形フレームワークを活用することで、未観測の表情や動きへの一般化を可能にする。

提案手法

• 静的ボリュームリックシーンを、幾何学的形状と神経放射場（NeRF）を同時に符号化する四面体メッシュとして表現し、写実的レンダリングを実現する。
• アーティストフレンドリーな技術（例：ブレンドシェイプや物理ベースのシミュレーション）を用いて四面体メッシュを変形し、下位のNeRFを保持することで高品質なレンダリングを実現する。
• レイに沿った放射場と密度を効率的に評価するため、二重MLPを用いた階層的サンプリング戦略を採用し、シャープネスを向上させ、アーチファクトを低減する。
• 3DMM顔モデルをボリュームリック表現（Vol3DMM）に拡張し、キャノニカルポーズでの変形と未観測の顔の表情への一般化を可能にする。
• リアルタイム推論を実現するため、ハードウェアアクセcelレートレイヤーングを活用する。
• 制御パrameter（例：ブレンドシェイプ重みや物理状態）を四面体メッシュの頂点位置にマッピングする微分可能変形パイプラインを適用する。

実験結果

リサーチクエスチョン

• RQ1 ボリュームリック変形手法は、動的シーンにおいても写実的レンダリング品質を維持しながらリアルタイム性能を達成できるか？
• RQ2 四面体メッシュベースの変形フレームワークは、物理ベースのシミュレーションとブレンドシェイプ駆動アニメーションを統合的かつアーティストが制御可能な形でサポートできるか？
• RQ3 1枚の被写体の静止画像で学習した場合、未観測の顔の表情やポーズにどの程度一般化できるか？
• RQ4 特にオブジェクトの破壊のような複雑なトポロジー変化を伴う動的動きについて、トレーニング時に観測されていない動きへの一般化性能はいかがなものか？
• RQ5 トレーニング時に見えなかった領域や、モデルフィッティングが不十分な場合における、このアプローチの限界は何か？

主な発見

• VolTeMorphは、コンsumer GPU上で20–30 FPSのリアルタイム推論を達成し、ボリュームリックシーンのインタラクティブアニメーションを可能にする。
• 視覚的品質と一般化性能において、暗黙的変形法やメッシュベースの手法を上回り、特に未観測の表情や動きの処理において顕著な優位性を示す。
• 二つのMLPを用いた階層的サンプリングでは、細い構造（例：歯）の欠落が生じるが、提案されたサンプリング戦略を用いた単一MLPではシャープネスが向上し、リング状のアーチファクトが解消される。
• 提案された階層的サンプリング戦略を用いたレンダリングのPSNR（32.1）は、デフォルトの二重MLP構成（29.8）および単一MLPベースライン（30.5）を顕著に上回る。
• Vol3DMMは、1つの表情の30枚の画像のみで学習した場合でも、未観測の表情やポーズを含むリアリスティックなアバターのアニメーションを可能にする。
• 限界として、見えない領域（例：口内）での外観生成が不正確になること、顔モデルのフィッティングが不十分な場合に感度が高くなること、および、眼球とまぶたが一緒に変形することで不自然な引き伸ばしが生じることがある。