[論文レビュー] Toward Characteristic-Preserving Image-based Virtual Try-On Network

Bochao Wang, Huabin Zheng+4 more|arXiv (Cornell University)|Jul 20, 2018

Generative Adversarial Networks and Image Synthesis参考文献 27被引用数 11

ひとこと要約

本稿では、大規模な空間的変形下でもキーパタンの衣類特徴（例：テクスチャ、ロゴ）を保持する完全に学習可能な画像ベースのバーチャルトライオンネットワークCP-VTONを提案する。本手法は幾何マッチングモジュールを介した学習可能な薄板スプライン変換と、トライオンモジュール内でのコンポジションマスクを用い、リアルで詳細を保持するバーチャルトライオン合成において最先端の性能を達成する。

ABSTRACT

Image-based virtual try-on systems for fitting new in-shop clothes into a person image have attracted increasing research attention, yet is still challenging. A desirable pipeline should not only transform the target clothes into the most fitting shape seamlessly but also preserve well the clothes identity in the generated image, that is, the key characteristics (e.g. texture, logo, embroidery) that depict the original clothes. However, previous image-conditioned generation works fail to meet these critical requirements towards the plausible virtual try-on performance since they fail to handle large spatial misalignment between the input image and target clothes. Prior work explicitly tackled spatial deformation using shape context matching, but failed to preserve clothing details due to its coarse-to-fine strategy. In this work, we propose a new fully-learnable Characteristic-Preserving Virtual Try-On Network(CP-VTON) for addressing all real-world challenges in this task. First, CP-VTON learns a thin-plate spline transformation for transforming the in-shop clothes into fitting the body shape of the target person via a new Geometric Matching Module (GMM) rather than computing correspondences of interest points as prior works did. Second, to alleviate boundary artifacts of warped clothes and make the results more realistic, we employ a Try-On Module that learns a composition mask to integrate the warped clothes and the rendered image to ensure smoothness. Extensive experiments on a fashion dataset demonstrate our CP-VTON achieves the state-of-the-art virtual try-on performance both qualitatively and quantitatively.

研究の動機と目的

• 画像ベースのバーチャルトライオンにおいて、大規模な空間的変形下でも微細な衣類特徴（例：テクスチャ、ロゴ）を保持する課題に対処すること。
• 従来の手法が手作業で設計された形状コンテキストマッチングに依存し、粗いから細かい戦略によって詳細損失を被るという限界を克服すること。
• 衣類の形状とターゲット人物のボディシェイプを一貫してアライメントする完全にエンドツーエンドで学習可能なパイプラインを構築すること。
• 入力におけるわずかな不一致に対して高いロバスト性を示し、既存手法で一般的に性能が低下する問題を改善すること。

提案手法

• 手作業で設計された形状コンテキストマッチングに代わり、ターゲット人物のボディシェイプにインショップ衣類をアライメントするための学習可能な幾何マッチングモジュール（GMM）を導入。
• U-Netベースのトライオンモジュールを採用し、ポーズ整合性を持つ画像とコンポジションマスクを生成することで、変形された衣類とレンダリング済み人物画像を滑らかに合成する。
• L1正則化を用いてトレーニングされるコンポジションマスクにより、変形衣類とUNetでレンダリングされた画像の寄与度をバランスさせ、初期トレーニング段階では変形衣類を優先することで詳細の保持を促進する。
• 2段階トレーニング戦略を採用：まずGMMが衣類を人物の形状にアライメントするよう学習し、次にトライオンモジュールがコンポジションマスクを用いてアライメント済み衣類と人物画像を統合する。
• 最終出力のリアルさと詳細忠実度を向上させるために、L1、ペルセプトアル、敵対的損失を組み合わせた損失関数を活用する。
• コンポジションマスクを初期段階で変形衣類に偏らせるという新規なトレーニングスケジュールを採用し、ネットワークが詳細保持を学習した後、徐々にUNetレンダリング領域に適応するようにする。

実験結果

リサーチクエスチョン

• RQ1 大規模な空間的変形下でも、手作業で設計された形状コンテキストマッチングに比べ、完全に学習可能な幾何変換モジュールがインショップ衣類をターゲット人物のボディシェイプにアライメントする上で優れた性能を示せるか？
• RQ2 固定融合戦略や直接ブレンドに比べ、学習可能なコンポジションマスクの使用が衣類特徴の保持に寄与するか？
• RQ3 特にVITONのような従来の2段階パイプラインと比較して、本手法は入力におけるわずかな不一致に対してどの程度ロバストか？
• RQ4 困難なポーズやシェイプの変化下でも、ロゴ、文字、テクスチャといった微細な衣類ディテールをどの程度保持できるか？

主な発見

• CP-VTONは、Hanら[10]のファッションデータセットにおいて、定量的・定性的に両面で最先端の性能を達成し、VITONや他のベースラインを上回って衣類特徴を保持している。
• アブレーションスタディにより、コンポジションマスクを除去すると、わずかな不一致でさえもぼやけた結果となることが確認され、詳細保持におけるその重要性が裏付けられた。
• コンポジションマスクにL1正則化を適用することは不可欠である—適用しないとマスクはUNetレンダリング画像を優先し、衣類ディテールの損失を引き起こす。
• CP-VTONは、シミュレートされた不一致（最大20pxのシフト）に対して優れたロバスト性を示し、徐々に増加する摂動下でも、VITON や CP-VTON(w/o mask) よりも性能低下が遅い。
• 失敗事例から、レアなポーズ、内側の衣類の曖昧さ、古く歪んだ衣類の形状処理における限界が明らかとなり、形状に配慮したモデリングの改善の余地があることが示された。
• 定量的比較により、ロゴやテクスチャといった高精細なディテールが効果的に保持されていることが実証され、最終的なトライオン結果に歪みやアーチファクトがほとんどないことが確認された。