[論文レビュー] Example-based Real-time Clothing Synthesis for Virtual Agents

Nannan Wu, Qianwen Chao+8 more|arXiv (Cornell University)|Jan 8, 2021

3D Shape Modeling and Analysis参考文献 70被引用数 5

ひとこと要約

本稿では、さまざまなボディーシェイプとポーズを持つ仮想エージェントに服をアニメートするリアルタイムでデータ駆動の手法を提示する。服の変形をポーズ依存とシェイプ依存の成分に分解し、事前に計算されたアンカーポイントの周囲でテイラー展開を適用することで、ガーメントのリサイズなしにインタラクティブなパフォーマンス（CPUで50+ FPS）を達成し、VR環境におけるリアリズムとユーザーの認識を著しく向上させる。

ABSTRACT

We present a real-time cloth animation method for dressing virtual humans of various shapes and poses. Our approach formulates the clothing deformation as a high-dimensional function of body shape parameters and pose parameters. In order to accelerate the computation, our formulation factorizes the clothing deformation into two independent components: the deformation introduced by body pose variation (Clothing Pose Model) and the deformation from body shape variation (Clothing Shape Model). Furthermore, we sample and cluster the poses spanning the entire pose space and use those clusters to efficiently calculate the anchoring points. We also introduce a sensitivity-based distance measurement to both find nearby anchoring points and evaluate their contributions to the final animation. Given a query shape and pose of the virtual agent, we synthesize the resulting clothing deformation by blending the Taylor expansion results of nearby anchoring points. Compared to previous methods, our approach is general and able to add the shape dimension to any clothing pose model. %and therefore it is more general. Furthermore, we can animate clothing represented with tens of thousands of vertices at 50+ FPS on a CPU. Moreover, our example database is more representative and can be generated in parallel, and thereby saves the training time. We also conduct a user evaluation and show that our method can improve a user's perception of dressed virtual agents in an immersive virtual environment compared to a conventional linear blend skinning method.

研究の動機と目的

• 多様なボディーシェイプとポーズにわたる仮想エージェントにおけるリアルタイムで高精細な衣装アニメーションを可能にすること。
• 服の変形をポーズ依存とシェイプ依存の成分に分離することで、スケーラブルで効率的な計算を可能にすること。
• リアルなしわやたるみ効果を備えたリアルタイムのバーチャルトライアルおよび没入型VRアプリケーションを支援すること。
• GPUアクセcelerationやガーメントのリサイズを必要とせず、コンsumer CPU上で高いパフォーマンスを維持すること。
• 従来の線形ブレンドスキンニングと比較して、着衣された仮想エージェントのユーザー認識を向上させること。

提案手法

• 服の変形を服のポーズモデル（ポーズ変化用）と服のシェイプモデル（シェイプ変化用）に分解し、両者のパラメータの関数として変形を扱う。
• 事前にシミュレートされた服のインスタンスに対して主成分分析（PCA）を適用し、次元削減を行い、最初のk個の主成分（実験ではk=5）でシェイプ依存変形をモデル化する。
• 感度に基づく距離尺度を用いて、シェイプ空間およびポーズ空間における近接するアンカーポイントを特定し、局所的近似を可能にする。
• 各アンカーポイントの周囲でテイラー展開を適用し、変形を近似する。実行時、新しいシェイプおよびポーズのクエリに対して、局所的結果のブレンドを実施する。
• データポイントの相互独立性を活用することで、並列なデータベース構築が可能となり、従来のMCMCベースの手法よりもオフライン効率が向上する。
• LBSの後処理として浸透解決を実施するが、深刻な浸透は不良フィットと判断してフラグを立てる。

実験結果

リサーチクエスチョン

• RQ1 服の変形を、ボディーシェイプとポーズの両パラメータの関数として、リアルタイムで効率的かつ正確にモデル化できるか？
• RQ2 服の変形におけるシェイプ依存性とポーズ依存性をどのように分離し、スケーラブルでリアルタイムな合成を可能にするか？
• RQ3 高次の導関数を高価に計算せずに、テイラー展開に基づく局所的近似スキームが高精細な結果を達成できるか？
• RQ4 線形ブレンドスキンニングと比較して、本手法が没入型VR環境における仮想エージェントのユーザー認識にどの程度向上をもたらすか？
• RQ5 本手法を服の素材やパターンといった追加パラメータのサポートに拡張するにはどうすればよいか？

主な発見

• 本手法は、数万の頂点を持つ服メッシュに対して、コンsumer CPU上で50 FPSを超えるリアルタイムパフォーマンスを達成し、VRにおけるインタラクティブ利用を可能にする。
• ユーザー評価の結果、本手法は没入型環境において線形ブレンドスキンニングと比較して、着衣された仮想エージェントの認識を顕著に向上させている。
• 感度に基づくアンカーポイント選択とブレンドスキームにより、計算コストを削減しながらも、しわやたるみ効果の高視覚的忠実度を維持している。
• 既存の服のポーズモデルに任意のシェイプ次元を追加する際、再トレーニングや修正なしに可能となり、汎用性と再利用性が向上する。
• データポイントの独立性のおかげで、並列処理が可能となり、本手法は従来のサンプリング手法に比べてデータベース構築の効率が優れている。
• 急激なポーズ変化や非常にタイトな服の処理に限界があるものの、浸透検出により不良フィットを明確に特定し、その服が身体のシェイプに不適切であることを示唆している。