[論文レビュー] Fully Convolutional Graph Neural Networks for Parametric Virtual Try-On

Raquel Vidaurre, Igor Santesteban+2 more|arXiv (Cornell University)|Sep 9, 2020

3D Shape Modeling and Analysis参考文献 64被引用数 4

ひとこと要約

本稿では、任意の衣類のトポロジー、ボディーシェイプ、素材にわたる一般化を実現する、完全畳み込み型グラフニューラルネットワーク（FCGNN）を提案する。衣類の種類、ボディーシェイプ、素材から変形を分離することで、71MBのモデルサイズでリアルタイムかつ高精細な3Dドレープ予測を実現。完全結合型ベースラインに比べ、一般化性能とメモリ効率で優れる。

ABSTRACT

We present a learning-based approach for virtual try-on applications based on a fully convolutional graph neural network. In contrast to existing data-driven models, which are trained for a specific garment or mesh topology, our fully convolutional model can cope with a large family of garments, represented as parametric predefined 2D panels with arbitrary mesh topology, including long dresses, shirts, and tight tops. Under the hood, our novel geometric deep learning approach learns to drape 3D garments by decoupling the three different sources of deformations that condition the fit of clothing: garment type, target body shape, and material. Specifically, we first learn a regressor that predicts the 3D drape of the input parametric garment when worn by a mean body shape. Then, after a mesh topology optimization step where we generate a sufficient level of detail for the input garment type, we further deform the mesh to reproduce deformations caused by the target body shape. Finally, we predict fine-scale details such as wrinkles that depend mostly on the garment material. We qualitatively and quantitatively demonstrate that our fully convolutional approach outperforms existing methods in terms of generalization capabilities and memory requirements, and therefore it opens the door to more general learning-based models for virtual try-on applications.

研究の動機と目的

• 固定された衣類トポロジーとメッシュ構造に制限される既存のデータ駆動型バーチャルトライアル手法の一般化能力の制限を克服すること。
• 単一の統合モデルを用いて、任意のパラメトリックな衣類タイプとボディーシェイプに対応するリアルタイム3D衣類ドレープ予測を可能にすること。
• 衣類の種類、ターゲットボディーシェイプ、素材固有のしわの3つの異なる変形要因を分離し、それらを学習すること。
• 完全結合層を完全畳み込み型グラフニューラルネットワークアーキテクチャに置き換えることで、モデルサイズの削減と推論効率の向上を図ること。
• 完全再トレーニングを回避するため、新しい素材への適応を可能にする専用コンponentのファインチューニングを可能にすること。

提案手法

• 本手法は、任意のメッシュトポロジーを持つ2Dパネルベースの衣類を生成できるパラメトリックな衣類デザインスペースを用いる。
• 不規則なメッシュデータを処理するため、U-Netに類似したFCGNNアーキテクチャを採用し、グラフ畳み込み層を用いることで、空間的およびトポロジカルな関係を保持する。
• パイプラインは変形学習を3段階に分離する：平均ボディーに対する粗いドレープ予測、トポロジーに配慮したメッシュの微調整、素材に基づく微細スケールのしわ予測。
• 新しいグラフ畳み込み演算子をメッシュグラフに適用し、サイズが可変な入力に対する効率的かつパラメータ効率の良い処理を可能にする。
• 本モデルは、多様なパラメトリックなボディーシェイプに物理シミュレートされた衣類の大量データセットで学習される。
• 最終的なネットワークヘッドのファインチューニングにより、完全再トレーニングを伴わずに新しい素材への適応が可能になる。

実験結果

リサーチクエスチョン

• RQ1 完全畳み込み型グラフニューラルネットワークは、バーチャルトライアルにおいて任意の衣類トポロジーとメッシュ構造に一般化可能か？
• RQ2 衣類の種類、ボディーシェイプ、素材の変形を分離して学習することで、一般化性能と効率がどのように向上するか？
• RQ3 提案手法は、高精細なドレープおよびしわ予測を維持しながら、リアルタイム推論を達成できるか？
• RQ4 完全結合型ベースラインと比較して、FCGNNのメモリおよびパラメータ効率はどの程度か？
• RQ5 ファインチューニングによって、未学習の衣類タイプ、ボディーシェイプ、素材への一般化はどの程度達成できるか？

主な発見

• 提案されたFCGNNは71MBのモデルサイズに留まり、完全結合型ベースラインの167MBと比べて顕著にメモリ効率が優れている。
• 本手法は、長ドレス、シャツ、タイトトップスなど、未学習の衣類タイプ、トポロジー、ボディーシェイプに対しても一般化可能であり、従来の手法が単一のメッシュトポロジーに限定されるのとは対照的である。
• 定性的な結果から、ボディーシェイプや衣類の種類に応じて自然に変化する、素材依存のリアルなしわや折りたたみが得られている。
• 本手法は、学習済みの衣類タイプでは最先端のベースラインと同等の性能を示し、未学習のものでは優れた結果を達成している。
• 最終的なネットワークヘッドのファインチューニングにより、新しい素材への適応が効果的に可能となり、高コストな完全再トレーニングを回避できる。
• モデルはインタラクティブな推論レートを達成しており、リアルタイムのバーチャルトライアルアプリケーションが可能である。