[論文レビュー] Towards Photo-Realistic Virtual Try-On by Adaptively Generating$\leftrightarrow$Preserving Image Content

Han Yang, Ruimao Zhang+4 more|arXiv (Cornell University)|Mar 12, 2020

Generative Adversarial Networks and Image Synthesis参考文献 49被引用数 4

ひとこと要約

本稿では、予測されたセマンティックレイアウトに基づいて画像コンテンツを適応的に生成または保存する、新しい画像ベースのバーチャルトライオンフレームワークである適応的コンテンツ生成・保存ネットワーク（ACGPN）を提案する。セマンティックレイアウト生成モジュール、2次差分制約を備えたワーピングモジュール、およびコンテンツ統合モジュールを統合することで、ACGPNは、特に複雑な隠蔽とポーズ変化を伴う困難なケースにおいて、最先端のリアルな結果を達成し、VITONデータセットにおいて知覚的品質と詳細の保持の面で先行手法を上回った。

ABSTRACT

Image visual try-on aims at transferring a target clothing image onto a reference person, and has become a hot topic in recent years. Prior arts usually focus on preserving the character of a clothing image (e.g. texture, logo, embroidery) when warping it to arbitrary human pose. However, it remains a big challenge to generate photo-realistic try-on images when large occlusions and human poses are presented in the reference person. To address this issue, we propose a novel visual try-on network, namely Adaptive Content Generating and Preserving Network (ACGPN). In particular, ACGPN first predicts semantic layout of the reference image that will be changed after try-on (e.g. long sleeve shirt$ ightarrow$arm, arm$ ightarrow$jacket), and then determines whether its image content needs to be generated or preserved according to the predicted semantic layout, leading to photo-realistic try-on and rich clothing details. ACGPN generally involves three major modules. First, a semantic layout generation module utilizes semantic segmentation of the reference image to progressively predict the desired semantic layout after try-on. Second, a clothes warping module warps clothing images according to the generated semantic layout, where a second-order difference constraint is introduced to stabilize the warping process during training. Third, an inpainting module for content fusion integrates all information (e.g. reference image, semantic layout, warped clothes) to adaptively produce each semantic part of human body. In comparison to the state-of-the-art methods, ACGPN can generate photo-realistic images with much better perceptual quality and richer fine-details.

研究の動機と目的

• 大きな隠蔽と複雑な人体ポーズ下でも、リアルなバーチャルトライオン画像を生成する課題に対処すること。
• 画像合成中に衣類の詳細（たとえば、テクスチャ、ロゴ）と人間のアイデンティティ（ポーズ、身体部位）の保持を向上させること。
• 固定されたワーピング戦略ではなく、予測されたセマンティックレイアウトに基づいてコンテンツの適応的生成または保存を可能にすること。
• セマンティック領域の重複や空間的変形を伴う困難なトライオンケースを効果的に処理すること。

提案手法

• セマンティック生成モジュール（SGM）は、元の衣類の形状とは独立して、セマンティックセグメンテーションを用いて露出された身体部位マスクとワープされた衣類領域マスクを段階的に予測する。
• 衣類ワーピングモジュール（CWM）は、予測されたレイアウトに従ってターゲット衣類画像をワープし、訓練の安定化と複雑なテクスチャの保持を図るために2次差分制約を組み込む。
• コンテンツ統合モジュール（CFM）は、参照画像、ワープされた衣類、合成された身体部位を適応的に統合し、セマンティック領域ごとにコンテンツの生成または保存を決定する。
• 空間的配置に配慮したトライオン画像を高忠実度で生成するために、分割・変換・統合戦略を採用する。
• モデルは、レイアウト予測、ワーピング、画像再構築の損失関数を用いて、VITONデータセット上でエンドツーエンドに訓練される。
• アブレーションスタディにより、非ターゲット身体部位の組み合わせとワーピング損失における2次差分制約の必要性が検証された。

実験結果

リサーチクエスチョン

• RQ1 バーチャルトライオンモデルは、複雑なポーズと隠蔽状態下でも、テクスチャ、ロゴ、刺繍などの衣類の詳細を効果的に保持できるか？
• RQ2 セマンティックレイアウト予測は、バーチャルトライオンにおけるコンテンツ生成と保存の正確性をどの程度向上できるか？
• RQ3 2次差分制約は、装飾的なテクスチャを持つ衣類のワーピングを安定化させる上で果たす役割は何か？
• RQ4 予測されたレイアウトに基づく適応的コンテンツ生成は、固定ワーピングやエンドツーエンド合成に比べて、困難なトライオンケースでどのように優れているか？

主な発見

• ACGPNは、VITONデータセットにおいてユーザー評価スコアの平均が89.8%を達成し、ユーザースタディでCP-VTON（10.2%）とVITON（23.4%）を大きく上回った。
• 困難な難易度ケースでは、ACGPNは96.0%のユーザー評価を達成し、複雑な隠蔽とポーズ変化の処理において優れた性能を示した。
• アブレーションスタディにより、非ターゲット身体部位の組み合わせが視覚的品質を向上させ、身体部位の変形やぼやけを低減することが確認された。
• 2次差分制約は、複雑なテクスチャを持つ衣類のワーピング品質を顕著に向上させ、歪みを低減し、テクスチャの忠実度を向上させた。
• ワーピング制約なしのACGPNでさえ、正確なレイアウト予測のおかげで良好な性能を示すが、複雑なテクスチャではこの制約が極めて重要であることがわかった。
• 視覚的比較では、ACGPNが、特に高い隠蔽領域においても明確で現実的で、空間的一致性を持つ、よりシャープな結果を生成することが示された。