[論文レビュー] SPG-VTON: Semantic Prediction Guidance for Multi-pose Virtual Try-on

Bingwen Hu, Liu Ping+2 more|arXiv (Cornell University)|Aug 3, 2021

Generative Adversarial Networks and Image Synthesis参考文献 49被引用数 4

ひとこと要約

SPG-VTONは、セマンティック予測モジュール（SPM）、導電性サイクル整合性損失を備えた衣類ワープモジュール（CWM）、およびトライオン合成モジュール（TSM）を活用して、エンドツーエンドのセマンティック予測ガイダンスネットワークを提案する。このアプローチにより、写真のようにリアルな結果が得られ、MPVおよびDeepFashionで最先端の性能を示し、ポーズの変化、背景ノイズ、アレンジメントに対しても頑健である。

ABSTRACT

Image-based virtual try-on is challenging in fitting a target in-shop clothes into a reference person under diverse human poses. Previous works focus on preserving clothing details ( e.g., texture, logos, patterns ) when transferring desired clothes onto a target person under a fixed pose. However, the performances of existing methods significantly dropped when extending existing methods to multi-pose virtual try-on. In this paper, we propose an end-to-end Semantic Prediction Guidance multi-pose Virtual Try-On Network (SPG-VTON), which could fit the desired clothing into a reference person under arbitrary poses. Concretely, SPG-VTON is composed of three sub-modules. First, a Semantic Prediction Module (SPM) generates the desired semantic map. The predicted semantic map provides more abundant guidance to locate the desired clothes region and produce a coarse try-on image. Second, a Clothes Warping Module (CWM) warps in-shop clothes to the desired shape according to the predicted semantic map and the desired pose. Specifically, we introduce a conductible cycle consistency loss to alleviate the misalignment in the clothes warping process. Third, a Try-on Synthesis Module (TSM) combines the coarse result and the warped clothes to generate the final virtual try-on image, preserving details of the desired clothes and under the desired pose. Besides, we introduce a face identity loss to refine the facial appearance and maintain the identity of the final virtual try-on result at the same time. We evaluate the proposed method on the most massive multi-pose dataset (MPV) and the DeepFashion dataset. The qualitative and quantitative experiments show that SPG-VTON is superior to the state-of-the-art methods and is robust to the data noise, including background and accessory changes, i.e., hats and handbags, showing good scalability to the real-world scenario.

研究の動機と目的

• 既存のマルチポーズバーチャルトライオン手法の限界、すなわちアライメントのずれ、細部の劣化、エンドツーエンド学習の欠如を解消すること。
• セマンティック事前知識を活用して、任意の人体ポーズ間での衣類の適合精度とリアリズムを向上させること。
• エンドツーエンドの学習と推論により、誤差の蓄積と人的介入を低減すること。
• 顔のアイデンティティと外見のリアリズムを維持するための専用の顔アイデンティティ損失を適用すること。
• 背景の雑音や帽子、ハンドバッグなどのアレンジメントを含むノイズの多いデータに対しても、耐性を高めること。

提案手法

• セマンティック予測モジュール（SPM）は、ターゲット人物の予測セマンティックマップを生成し、衣類領域の局所化に空間的・セマンティック的ガイダンスを提供する。
• 衣類ワープモジュール（CWM）は、予測セマンティックマップとターゲットポーズに基づいて、店舗内衣類を変形させ、導電性サイクル整合性損失を用いてワープのずれを低減する。
• トライオン合成モジュール（TSM）は、変形された衣類と粗い結果を統合して、最終的な写真のようにリアルなトライオン画像を生成し、形状とテクスチャの忠実度を確保するためのグローバルおよびローカルディスクリミネーターを用いる。
• 顔のアイデンティティ損失を適用して、生成された顔領域の顔のアイデンティティを維持し、リアリズムを向上させる。
• 全ネットワークは、再構築、知覚的損失、サイクル整合性損失、アイデンティティ損失をバランスさせる5つのハイパーパrameterを用いてエンドツーエンドで学習される。
• 導電性サイクル整合性損失により、変形された衣類とターゲットボディシェイプ間の構造的整合性が保証され、変形の正確性が向上する。

Figure 1: Visual results of multi-pose virtual try-on by the proposed method. First column: source images. Top row: in-shop clothes and target poses. Other columns: generated images. SPG-VTON produces photo-realistic virtual try-on results, which preserves both clothes details and person characteris

実験結果

リサーチクエスチョン

• RQ1 セマンティック予測を統合したエンドツーエンドフレームワークは、マルチステージベースラインと比較して、マルチポーズバーチャルトライオンの性能を向上させ得るか？
• RQ2 任意のポーズ下で、導電性サイクル整合性損失は、衣類ワープのずれをどれほど効果的に低減できるか？
• RQ3 セマンティックマップ予測の正確性が、最終的なトライオン品質にどの程度影響を及えるか？
• RQ4 ポーズの変化やノイズの多い入力下でも、モデルは顔のアイデンティティとリアリズムを維持できるか？
• RQ5 背景の雑音や帽子、ハンドバッグなどのアレンジメントに対して、この手法はどの程度頑健か？

主な発見

• SPG-VTONは、MPVおよびDeepFashionデータセットで最先端の性能を達成し、比較手法の中で最高のSSIM/マスク-SSIMおよびマスク-ISスコアを記録した。
• アブレーションスタディの結果、λ₁からλ₅までの5つのハイパーパrameterのいずれかを削除すると、顕著な性能低下が生じ、それらの必要性が確認された。
• ノイズの多いデータで学習しても、メトリクスの低下はわずかに抑えられ、未学習のノイズを含むテスト画像に対しても良好な汎化性能を示した。
• テスト時に実際のセマンティックマップを使用すると、予測マップを使用した場合よりも高いスコアが得られたが、エンドツーエンド学習により予測マップの正確性が向上し、スコアの差が縮まった。
• 導電性サイクル整合性損失は不可欠であり、これを削除すると、出力における衣類の細部が完全に消失した。
• 顔アイデンティティ損失は顔のリアリズムを顕著に向上させ、アブレーション実験では無効化した場合、顔領域がより不自然になった。

Figure 2: The overview of our SPG-VTON. (a) The Semantic Prediction Module (SPM) consists of two processes. One is the target semantic map prediction, and the other one is the target clothes mask prediction and coarse result generation. (b) The Clothes Warping Module (CWM) warps the in-shop clothes