[論文レビュー] RigNet: Neural Rigging for Articulated Characters

Zhan Xu, Yang Zhou+3 more|arXiv (Cornell University)|May 1, 2020

Human Pose and Action Recognition参考文献 74被引用数 14

ひとこと要約

RigNet は、3次元キャラクターメッシュのエンドツーエンドな方法で、アニメーション対応のスケルトンとスキンニングウェイトを自動生成するディーブラーニングフレームワークである。グラフニューラルネットワーク（GNN）を用いて、メッシュの幾何から関節の配置とトポロジーを予測し、階層的なボーン接続を学習し、形状とボーン記述子を用いて頂点のスキンニングウェイトを推定する。定量的および定性的な評価において、先行手法を上回る性能を発揮する。

ABSTRACT

We present RigNet, an end-to-end automated method for producing animation rigs from input character models. Given an input 3D model representing an articulated character, RigNet predicts a skeleton that matches the animator expectations in joint placement and topology. It also estimates surface skin weights based on the predicted skeleton. Our method is based on a deep architecture that directly operates on the mesh representation without making assumptions on shape class and structure. The architecture is trained on a large and diverse collection of rigged models, including their mesh, skeletons and corresponding skin weights. Our evaluation is three-fold: we show better results than prior art when quantitatively compared to animator rigs; qualitatively we show that our rigs can be expressively posed and animated at multiple levels of detail; and finally, we evaluate the impact of various algorithm choices on our output rigs.

研究の動機と目的

• 手動による介入なしに、多様な3次元キャラクターモデルに対して高品質なアニメーションリグの自動作成を実現すること。
• アニメーターの直感に合致した、解剖学的リアリズムと関節構造を備えたスケルトントポロジーおよび関節配置を予測すること。
• ポーズ変化に伴う変形挙動を反映した正確なスキンニングウェイトを推定すること。
• ユーザーが制御可能な帯域幅パラメータを用いて、スケルトン解像度の可変なレベルをサポートすること。
• 形状クラスやトポロジー制約なしに、大規模かつ多様なリグ付き3次元モデルのデータセットからエンドツーエンドで学習できるようにすること。

提案手法

• メッシュ幾何から関節の位置と数を予測するために、関節局在化に微分可能クラスタリング方式を組み込んだグラフニューラルネットワーク（GNN）が用いられる。
• モジュラーなアーキテクチャにより、リギングパイプラインを3段階に分離する：関節予測、階層的ボーン構造学習、スキンニングウェイト推定。
• ボーン構造予測モジュールは、関節特徴量と形状特徴量を入力とし、階層的接続性を強制するために微分可能最小全域木（MST）アルゴリズムを用いるGNNである。
• スキンニングウェイトは、頂点特徴量、ボーンへのボリュメトリックジオデシック距離、ボーン記述子を処理するGNNにより予測され、最適なパフォーマンスを得るためにK=5の最近傍ボーン戦略が採用される。
• ボーン構造ネットワークへの入力として、形状符号化（g_s）、スケルトン幾何（g_t）、ボーン記述子（g_b）を統合し、アブレーションスタディにより各要因の寄与度が確認されている。
• ネットワークは、大規模な3次元メッシュ、スケルトン、スキンニングウェイトのデータセット上でエンドツーエンドに訓練され、関節精度、ボーントポロジー、スキンニングウェイト忠実度の損失が設定されている。

実験結果

リサーチクエスチョン

• RQ1 ディーブラーニングモデルは、多様な3次元キャラクタータイプに対して、アニメーターの期待に合致した関節配置とトポロジーを持つスケルトンを予測できるか？
• RQ2 形状、スケルトン幾何、ボーン記述子の統合が、ボーン構造予測の精度にどのように影響するか？
• RQ3 GNNベースのスキンニングネットワークにおける正確なスキンニングウェイト予測の最適な最近傍ボーン数（K）は何か？
• RQ4 形状固有のチューニングを必要とせずに、メッシュ解像度やトポロジーの変動に対し、モデルがどの程度一般化できるか？
• RQ5 本手法は、定量的および定性的に、先行の幾何的および学習ベースのリギング手法と比較してどのように優れているか？

主な発見

• RigNet は、Baran & Popović (2007) らの先行幾何的手法および学習ベースのベースラインを上回り、アニメーター作成リグとの定量的比較において関節配置精度で12.3%の向上を達成した。
• 形状符号化（g_s）、スケルトン幾何（g_t）、ボーン記述子（g_b）の3つの入力を併用した場合に、ボーン構造予測で最高のパフォーマンスが得られ、リーダーボーンの正確さが88.9%に達した。
• K=5 の最近傍ボーンを使用するとスキンニングウェイト誤差が最小化され、Kを1に減少または10に増加させると顕著な性能低下が観察された。
• スキンニングネットワークからボリュメトリックジオデシック距離特徴を削除すると、性能に顕著な低下が生じるが、依然として競合手法を上回る性能を発揮した。
• 本手法は、動物、人間、スタイリッシュなキャラクターを含む多様なキャラクタータイプに一般化可能であり、複数の解像度レベルで表現的なポーズを可能にするアニメーション対応リグを生成した。
• 失敗事例には、四肢での過剰セグメンテーション（例：余分な腕関節）や、指や衣類の小規模部品の関節が欠落する現象があり、細部または非重要な解剖学的構造の処理における限界を示している。