[論文レビュー] Towards Scalable Unpaired Virtual Try-On via Patch-Routed Spatially-Adaptive GAN

Zhenyu Xie, Zaiyu Huang+4 more|arXiv (Cornell University)|Nov 20, 2021

3D Shape Modeling and AnalysisEngineering被引用数 19

ひとこと要約

本稿では、パッチルーティング分散モジュールと空間的に適応する残差ブロックを用いて衣類のスタイルと空間的特徴を分離することで、ペairedデータやオンライン最適化を必要とせず、高精細でエンド・トゥ・エンドの衣類移動を実現するスケーラブルな非ペア仮想試着フレームワーク、PASTA-GANを提案する。MPVで最先端の性能を達成し、スリングなど全身やレアなタイプの衣類を含む多様な衣類へ一般化可能である。

ABSTRACT

Image-based virtual try-on is one of the most promising applications of human-centric image generation due to its tremendous real-world potential. Yet, as most try-on approaches fit in-shop garments onto a target person, they require the laborious and restrictive construction of a paired training dataset, severely limiting their scalability. While a few recent works attempt to transfer garments directly from one person to another, alleviating the need to collect paired datasets, their performance is impacted by the lack of paired (supervised) information. In particular, disentangling style and spatial information of the garment becomes a challenge, which existing methods either address by requiring auxiliary data or extensive online optimization procedures, thereby still inhibiting their scalability. To achieve a \emph{scalable} virtual try-on system that can transfer arbitrary garments between a source and a target person in an unsupervised manner, we thus propose a texture-preserving end-to-end network, the PAtch-routed SpaTially-Adaptive GAN (PASTA-GAN), that facilitates real-world unpaired virtual try-on. Specifically, to disentangle the style and spatial information of each garment, PASTA-GAN consists of an innovative patch-routed disentanglement module for successfully retaining garment texture and shape characteristics. Guided by the source person keypoints, the patch-routed disentanglement module first decouples garments into normalized patches, thus eliminating the inherent spatial information of the garment, and then reconstructs the normalized patches to the warped garment complying with the target person pose. Given the warped garment, PASTA-GAN further introduces novel spatially-adaptive residual blocks that guide the generator to synthesize more realistic garment details.

研究の動機と目的

• ペアデータに依存する既存の仮想試着手法のスケーラビリティの制限を解消すること。ペアデータは人的労力が大きく制限的である。
• 非ペア設定において衣類のスタイルと空間的特徴が混同されることによる、テクスチャーや形状の忠実度の低下という課題を克服すること。
• 補助データやオンライン最適化手順に依存せず、高品質な合成を維持すること。
• 上半身、下半身、全身のシナリオを含む任意の衣類に対してエンド・トゥ・エンドで実用的かつ現実世界に適用可能な仮想試着を可能にすること。

提案手法

• 衣類を正規化された空間的パッチに分解することで、空間的依存性を低減し、空間に依存しないスタイル学習を促進するパッチルーティング分散モジュールを導入する。
• ソース人物のキーポイントをガイドとして用い、正規化パッチをターゲット人物のポーズに適合するように変形した衣類に再構成することで、明示的なワープネットワークを回避する。
• 特徴の整合性を動的に調整する新しい空間的に適応する残差ブロックを採用し、変形衣類とターゲットボディ形状との間の不整合を是正する。
• 変形衣類特徴を生成器の中間層に統合することで、リアルなテクスチャーシンセシスをガイドし、アーチファクトを低減する。
• スタイルとテクスチャーシンセシスのブランチを統合し、生成過程で衣類のアイデンティティと詳細なディテールを両方保持する。
• ペアラベルや3次元人体モデルを必要とせず、再構成損失を用いて教師なしでエンド・トゥ・エンドにモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 完全に教師なしの仮想試着モデルは、ペアデータや補助監視なしに高精細な衣類移動を達成できるか？
• RQ2 ペア監視が存在しない状況で、衣類のスタイルと空間的特徴を効果的に分離することで、テクスチャーと形状の忠実度を保てるか？
• RQ3 パッチベースの分解と再構成は、グローバルワープやフローに基づく手法と比較して、衣類の忠実度を向上させられるか？
• RQ4 空間的に適応する残差モジュールは、複雑なポーズや形状の変化における特徴の不整合をどの程度是正できるか？
• RQ5 提案手法は、ペアデータなしの非ペア設定下で、スリングなどレアまたは全身タイプの衣類を含む多様な衣類へ一般化可能か？

主な発見

• PASTA-GANは、MPVベンチマークにおいて、PFAFNを含む最先端のペア手法をFID（22.4）および人間評価スコアで上回り、非ペア設定下での優位性を示した。
• 本モデルは、全身試着やスリングなどレアな衣類といった困難なケースに対しても高品質な結果を達成しており、ペア手法では処理できない。
• アブレーションスタディにより、パッチルーティング分散モジュールが正確な衣類形状の合成に不可欠であり、空間的に適応する残差ブロックがテクスチャの明瞭さとアーチファクト低減に重要であることが確認された。
• テクスチャーシンセシスブランチを削除すると、テクスチャの保持が著しく劣化する一方、通常のブロックに置き換えると不整合とぼやけが生じた。
• 完全なモデル構成が、視覚的および定量的両面で最良の結果を達成し、アブレーション変種と比較してFIDと人間評価スコアで顕著な改善を示した。
• オンライン最適化や補助データを一切必要とせず、多様な衣類やポーズへ効果的に一般化可能であることが確認され、スケーラビリティが裏付けられた。