[論文レビュー] NiLBS: Neural Inverse Linear Blend Skinning

Timothy Jeruzalski, David I. W. Levin+4 more|arXiv (Cornell University)|Apr 6, 2020

3D Shape Modeling and Analysis参考文献 3被引用数 16

ひとこと要約

NiLBSは、変形姿勢における事前計算済みの占有関数のクエリを効率的に行うために、変形空間からレストスペースへのポーズ条件付き逆写像を学習するニューラルネットワークベースの逆線形ブレンドスキンニング手法を提案する。本手法は、バックグラウンドモデリングのためのゴーストボーンを備えた学習可能なウェイトネットワークを用い、再計算を伴わずに正確な占有推論を実現する。

ABSTRACT

In this technical report, we investigate efficient representations of articulated objects (e.g. human bodies), which is an important problem in computer vision and graphics. To deform articulated geometry, existing approaches represent objects as meshes and deform them using "skinning" techniques. The skinning operation allows a wide range of deformations to be achieved with a small number of control parameters. This paper introduces a method to invert the deformations undergone via traditional skinning techniques via a neural network parameterized by pose. The ability to invert these deformations allows values (e.g., distance function, signed distance function, occupancy) to be pre-computed at rest pose, and then efficiently queried when the character is deformed. We leave empirical evaluation of our approach to future work.

研究の動機と目的

• アーティキュレーテッドオブジェクトの変形姿勢における事前計算済みの占有関数の効率的かつリアルタイムなクエリを可能にすること。
• 従来の線形ブレンドスキンニング（LBS）変形の逆転を、メッシュ頂点に限らず任意の3次元点に対しても実現する課題に対処すること。
• ウェイトネットワークにゴーストボーンを導入することで、バックグラウンド領域の取り扱いのロバスト性を向上させること。
• 幾何的忠実性を保持しつつ計算効率を維持する逆写像を予測するためのニューラルネットワークの訓練を行うこと。
• ポーズ条件付きニューラルウェイトを活用し、LBSを表面頂点を超えてボリューム的な点へ一般化すること。

提案手法

• 本手法は、ポーズ依存のウェイトを生成するためのソフトマックス出力を持つMLPを用いて、レストスペース内の任意の3次元点のLBSスタイル変形マッピングを定式化する。
• 前方マッピングを逆転させるために、同じニューラルウェイトネットワークを用いて、変形空間の点をそのレストスペース座標へ戻す逆関数を学習する。
• 逆マッピングは、変形空間におけるクエリポイントとポーズパラメータをウェイトネットワークの入力として用い、未知のレストスペース座標に依存しない。
• 「ゴーストボーン」を導入し、ルートボーンからの変換をクローンすることで、学習されたウェイトチャネルを介してバックグラウンド領域を明示的にモデリングする。
• 収束を加速するために、占有予測損失と頂点ウェイト再構築損失の両方をクロスエントロピーを用いて同時に訓練する。
• クエリポイントを各ボーンの局所座標フレームにエンコードすることで、「リグに依存しない」ポーズ表現を採用し、ネットワークの学習を簡素化する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、変形空間の点をレストスペースへ正確に逆写像する線形ブレンドスキンニング変換を効果的に逆転できるか？
• RQ2 推論時にレストスペース座標が明示的に入手できない状況でも、逆マッピングをどのように訓練できるか？
• RQ3 ゴーストボーン機構は、バックグラウンド領域のモデリングを改善し、占有予測におけるアーチファクトを低減できるか？
• RQ4 ポーズ条件付きウェイトを学習することで、表面頂点を超えた一般化はどの程度向上するか？
• RQ5 占有予測と頂点ウェイト監視の両方を同時に訓練することで、収束性と精度が向上するか？

主な発見

• 提案されたNiLBS手法により、任意の変形姿勢において、事前計算済みのレストスペース占有関数の効率的クエリが可能となった。
• ゴーストボーンの導入により、物体の外側という概念を明示的にモデリングすることで、バックグラウンド領域のアーチファクトが顕著に低減された。
• 頂点スキンニングウェイトに対するクロスエントロピー損失を用いた共同訓練により、収束が加速し、ウェイトネットワークの精度が向上した。
• 本手法により、LBSはメッシュ頂点を越えて任意の3次元点へ一般化され、ボリューム的占有推論が可能になった。
• 逆マッピングはロバストで微分可能であり、ポーズ条件付きニューラルウェイトを用いたエンドツーエンドの訓練が可能である。
• 100ポーズのアニメーションデータセットを用いた実験的評価では、ネットワークが変形を正確に逆写像し、高忠実度の占有予測を実現していることが示された。