[論文レビュー] Disentangled Cycle Consistency for Highly-realistic Virtual Try-On

Chongjian Ge, Yibing Song+4 more|arXiv (Cornell University)|Mar 17, 2021

Generative Adversarial Networks and Image Synthesis参考文献 45被引用数 4

ひとこと要約

本稿では、仮想試着を3つの明確なモジュール—衣類ワープ、肌の生成、画像合成—に分離することで、自己教師付きサイクル整合性学習を用いて、極めてリアルで写真のような結果を達成する、新しいフレームワークである分離型サイクル整合性トライオンネットワーク（DCTON）を提案する。DCTONは、VITONで87.68％のユーザー評価を達成し、19 FPSのリアルタイム推論を実現するなど、ベンチマークデータセットで最先端の性能を発揮する。

ABSTRACT

Image virtual try-on replaces the clothes on a person image with a desired in-shop clothes image. It is challenging because the person and the in-shop clothes are unpaired. Existing methods formulate virtual try-on as either in-painting or cycle consistency. Both of these two formulations encourage the generation networks to reconstruct the input image in a self-supervised manner. However, existing methods do not differentiate clothing and non-clothing regions. A straight-forward generation impedes virtual try-on quality because of the heavily coupled image contents. In this paper, we propose a Disentangled Cycle-consistency Try-On Network (DCTON). The DCTON is able to produce highly-realistic try-on images by disentangling important components of virtual try-on including clothes warping, skin synthesis, and image composition. To this end, DCTON can be naturally trained in a self-supervised manner following cycle consistency learning. Extensive experiments on challenging benchmarks show that DCTON outperforms state-of-the-art approaches favorably.

研究の動機と目的

• 従来の仮想試着手法が片方向再構成やシンプルなサイクル整合性に依存する点—両者ともにテクスチャの保存性が低く、画像コンテンツの生成が結合されている点—を是正すること。
• 衣類ワープ、肌の生成、画像合成を明示的に分離し、それぞれを独立したトレーニング可能なモジュールとして扱うことで、仮想試着における視覚的リアリズムと構造的忠実性を向上させること。
• サイクル整合性に基づく有効な自己教師付き学習を可能にしつつ、スリーブ、カラー、ボディパーツなどの細かいディテールの高品質な生成を維持すること。
• ACGPN や CP-VTON といった先行手法と比較して、より優れた性能と計算効率を実現するエンドツーエンドの訓練を達成すること。

提案手法

• DCTONは仮想試着を3つのサブネットワークに分解する：空間変換ネットワーク（STN）を用いた衣類ワープモジュールに、テクスチャディテールの保存を図るための新しい正則化項を追加する。
• 遮蔽領域（例：腕、胴体）におけるリアルな人体の肌を生成するための肌生成モジュールを導入し、専用エンコーダーからの事前特徴量でガイドする。
• 変形された衣類と生成された肌を融合して最終的な試着画像を生成する画像合成モジュールを設け、グローバルな整合性とリアルな外観を確保する。
• 全フレームワークはサイクル整合性の学習方式で訓練される：元の衣類を有する人物画像が、ターゲット衣類に変換され、そのサイクルを元の画像に再構成することで自己教師学習を可能にする。
• コンテンツ生成を明示的に分離し、衣類領域と非衣類領域の干渉を低減するため、分離型サイクル整合性損失を用いる。
• STNに正則化項を追加し、ワープの安定性を高め、ロゴや刺繍などの細かいテクスチャの歪みを防止する。

Figure 1: Comparison of virtual try-on pipelines. The inpainting methods (e.g., CP-VTON [ 35 ] and ACGPN [ 40 ] ) shown in the top row use one in-shop clothes to replace the same input clothes. The vanilla CycleGAN [ 18 ] shown in the middle row introduces two in-shop clothes for cycle consistency a

実験結果

リサーチクエスチョン

• RQ1 衣類ワープ、肌の生成、画像合成に仮想試着を分離することで、生成された試着画像のリアリズムと品質が向上するか？
• RQ2 明示的な分離と併せたサイクル整合性学習方式は、シンプルなサイクル整合性や片方向インpaintingと比較して、視覚的忠実性とディテール保存性に優れているか？
• RQ3 本手法は、腕、スリーブ、ロゴなどの複雑な領域において、アーチファクトを低減しつつ高い性能を維持できるか？
• RQ4 専用の肌生成モジュールの導入が、遮蔽領域における人体の肌のリアリズムにどのように寄与するか？
• RQ5 STNにおける正則化項が、衣類ワープ時のテクスチャ保存性をどの程度向上させるか？

主な発見

• DCTONはVITONテストセットで87.68％のユーザー評価を達成し、CA-GAN（79.29％）、CP-VTON（85.84％）およびその他のSOTA手法を大きく上回った。
• VITON-HDという挑戦的なデータセットにおいても、DCTONは強力なロバスト性と一般化性能を示し、ベースライン手法を一貫して上回った。
• アブレーションスタディの結果、肌生成エンコーダーを削除すると肌がぼやけたり色あせたりするため、リアリズムの実現において極めて重要な役割を果たしていることが確認された。
• STNに正則化項が存在しないと、ワープ処理でロゴや刺繍模様に著しい歪みが生じるため、この正則化項が細かいテクスチャの保存に不可欠であることが示された。
• DCTONは1枚のV100 GPUで19 FPSの推論速度を達成し、ACGPNのほぼ2倍の速度を実現した。FLOPsは194G（ACGPNの206G）でわずかに少なく、パラメータ数は153M（ACGPNの139M）でわずかに多い。
• 訓練時間はやや長め（約44時間 vs. 約40時間）であるが、ACGPN や CP-VTON と比較して、より高い品質の生成と、より少ないアーチファクト、優れた視覚的一致性を維持した。

Figure 3: The pipeline of our disentangled cycle consistency framework. We show the CNN architecture above where there are clothes warping, skin synthesis, and image composition modules. The encoded features from these modules are concatenated to decode the output image. The cycle consistency is sho