[論文レビュー] Garment Avatars: Realistic Cloth Driving using Pattern Registration

Oshri Halimi, Fabián Prada+8 more|arXiv (Cornell University)|Jun 7, 2022

3D Shape Modeling and Analysis被引用数 6

ひとこと要約

本論文は、2.67 mmの登録分解能と1 mmの局所化誤差を達成するマルチビュー柄付き布地トラッキングを用いて、走行可能で高精細な衣類アバターを生成するエンドツーエンドのパイプラインを提案する。部分的な柄検出をスパarselyな視点から行い、UV空間における座標補間ネットワークを活用することで、身体ポーズのみで駆動される状態でも、最先端のポーズ駆動モデルを上回る忠実度と現実性を持つ布地アニメーションを実現する。

ABSTRACT

Virtual telepresence is the future of online communication. Clothing is an essential part of a person's identity and self-expression. Yet, ground truth data of registered clothes is currently unavailable in the required resolution and accuracy for training telepresence models for realistic cloth animation. Here, we propose an end-to-end pipeline for building drivable representations for clothing. The core of our approach is a multi-view patterned cloth tracking algorithm capable of capturing deformations with high accuracy. We further rely on the high-quality data produced by our tracking method to build a Garment Avatar: an expressive and fully-drivable geometry model for a piece of clothing. The resulting model can be animated using a sparse set of views and produces highly realistic reconstructions which are faithful to the driving signals. We demonstrate the efficacy of our pipeline on a realistic virtual telepresence application, where a garment is being reconstructed from two views, and a user can pick and swap garment design as they wish. In addition, we show a challenging scenario when driven exclusively with body pose, our drivable garment avatar is capable of producing realistic cloth geometry of significantly higher quality than the state-of-the-art.

研究の動機と目的

• バーチャルトランスレントにおけるリアルな走行可能衣類モデルを訓練するための高解像度で正確な真値データの不足に対処すること。
• 非剛体な布地変形、自己遮蔽、マルチビュー布地トラッキングにおけるスパースな視覚特徴といった課題を克服すること。
• 優れたアニメーション忠実度を実現するための高精度な柄登録を活用する画期的な走行可能衣類アバター・モデルの開発。
• 座標補間アプローチを用いて、2つのスパースで重複のないカメラビューからのみ、リアルな布地アニメーションを実現すること。
• 正確な幾何学的および外観モデリングを通じて、合成シミュレーションと現実世界の衣類ダイナミクスのギャップを埋めること。

提案手法

• 高精度な対応を実現するように最適化された独自プリント柄を用いたマルチビュー柄付き布地トラッキングアルゴリズムで、パターンプリミティブは画像ベース検出器により検出される。
• 非剛体および射影変換下でもキーポイントを頑健に同定するためのグラフ処理アルゴリズムで、自己遮蔽および検出ノイズに対応する。
• スパースな視点からの部分的なピクセル座標信号を統合するUNetスタイルのネットワークを用いて、UV空間における座標補間問題として3次元布地再構成を定式化する。
• 部分観測に適合した粗い運動学的モデルを基準として補間ネットワークを動作させることで、身体の形状や衣類の種別に一般化可能となる。
• スパースなビューからのピクセルレベルの柄信号を用いて走行可能衣類アバターを訓練する。これにより、ポーズのみに依存する場合よりも豊かな空間相関性が得られる。
• 従来のLBSに代えて表面運動学的モデルを用いることで、幾何的整合性が向上し、アーチファクトが低減される。

実験結果

リサーチクエスチョン

• RQ1 柄ベースの登録システムは、複雑な自己遮蔽下でも動的布地変形において1ミリメートル未満の局所化精度と高い対応品質を達成できるか？
• RQ2 スパースで重複のない視点からの部分的柄検出が、高忠実度な布地アニメーションに十分な幾何的制約を提供できるか？
• RQ3 ピクセルレベルの柄信号をドライブ信号として用いることで、ポーズのみをドライブ信号とする場合に比べ、現実性および詳細忠実度が向上するか？
• RQ4 UV空間における座標補間ネットワークは、不完全な2次元観測から高精度に完全な3次元布地幾何を再構成できるか？
• RQ5 運動学的モデルの選択（表面ベース vs. LBS）が、得られる衣類アニメーションの品質および安定性に与える影響は何か？

主な発見

• 提案された柄登録パイプラインは、三角測量による局所化誤差1 mm、登録分解能2.67 mmを達成し、精度および対応品質の面で先行研究を著しく上回る。
• 本手法は、類似した幾何的忠実度を持つ動的布地メッシュのシーケンスを生成し、下流モデルのための高品質なデータ生成を可能にする。
• 高精度なデータで訓練されたピクセル登録駆動型衣類アバターは、質的現実性および定量的ドライブ誤差の両面で、最先端のポーズ駆動モデルを上回る性能を示す。
• 提案手法のドライブ誤差は、ポーズ駆動ベースラインよりも顕著に低く抑えられており、優れた制約性と高周波数ノイズへの過学習の低減を示している。
• アブレーションスタディにより、表面運動学的モデルがLBSベースの代替手法と比較して幾何的アーチファクトを低減し、安定性を向上させることを確認した。
• 本手法により、2台のカメラビューからのみで、リアルなバーチャルトランスレントが実現可能となり、リアルタイムでのテクスチャ交換と高解像度の布地再構成が可能になる。