[論文レビュー] Towards Multi-pose Guided Virtual Try-on Network

Haoye Dong, Xiaodan Liang+4 more|arXiv (Cornell University)|Feb 28, 2019

Generative Adversarial Networks and Image Synthesis参考文献 40被引用数 17

ひとこと要約

本稿では、任意のポーズ下で望ましい衣類を人物に移動させることで現実的な人物画像を合成する、マルチポーズガイド付きバーチャルトライオンのための新規マルチステージフレームワークMG-VTONを提案する。本手法は、ポーズおよび衣類ガイド付きの人体パーセプション、ポーズに起因する不一致を低減するためのワープングGAN、およびマルチポーズコンポジションマスクを用いた精緻なディテール回復を実現するリファインメントネットワークを活用し、MPVおよびDeepFashionデータセットの両方でSOTA手法を著しく上回る性能を発揮する。

ABSTRACT

Virtual try-on system under arbitrary human poses has huge application potential, yet raises quite a lot of challenges, e.g. self-occlusions, heavy misalignment among diverse poses, and diverse clothes textures. Existing methods aim at fitting new clothes into a person can only transfer clothes on the fixed human pose, but still show unsatisfactory performances which often fail to preserve the identity, lose the texture details, and decrease the diversity of poses. In this paper, we make the first attempt towards multi-pose guided virtual try-on system, which enables transfer clothes on a person image under diverse poses. Given an input person image, a desired clothes image, and a desired pose, the proposed Multi-pose Guided Virtual Try-on Network (MG-VTON) can generate a new person image after fitting the desired clothes into the input image and manipulating human poses. Our MG-VTON is constructed in three stages: 1) a desired human parsing map of the target image is synthesized to match both the desired pose and the desired clothes shape; 2) a deep Warping Generative Adversarial Network (Warp-GAN) warps the desired clothes appearance into the synthesized human parsing map and alleviates the misalignment problem between the input human pose and desired human pose; 3) a refinement render utilizing multi-pose composition masks recovers the texture details of clothes and removes some artifacts. Extensive experiments on well-known datasets and our newly collected largest virtual try-on benchmark demonstrate that our MG-VTON significantly outperforms all state-of-the-art methods both qualitatively and quantitatively with promising multi-pose virtual try-on performances.

研究の動機と目的

• 多様な人体ポーズ下での現実的なバーチャルトライオンを実現する挑戦に応えること。既存手法は、不一致やアイデンティティ・テクスチャディテールの損失のため、これを処理できない。
• 3Dモデルや多数の手動アノテーションを必要とせずに、2D人物画像において衣類の転送とポーズの操作を同時に実現する手法を開発すること。
• 構造的スーパービジョンを通じて、ポーズ、衣類、人体構造の相互作用をモデル化することで、生成画像の忠実性を向上させること。
• マルチポーズバーチャルトライオン評価のための新しいベンチマークデータセットMPVを確立すること。このデータセットは多様なポーズと衣類のバリエーションを含む。

提案手法

• ポーズ・衣類ガイド付き人体パーセプションネットワークは、入力の人物画像、望ましい衣類、ターゲットポーズを条件として、ターゲット人体パーセプションマップを生成し、正確なボディパーツの局所化を可能にする。
• ディープワープ生成的対抗ネットワーク（Warp-GAN）は、幾何的変換推定を用いて、望ましい衣類画像を合成されたパーセプションマップにワープすることで、ソースとターゲットポーズ間の不一致を低減する。
• リファインメントネットワークは、マルチポーズコンポジションマスクを活用して、ワープおよびポーズ操作中に生じたアーティファクトを抑制し、細粒度のテクスチャディテールを回復する。
• 本フレームワークは、対抗損失、知覚損失、およびマルチポーズコンポジションマスク損失を用い、現実性と構造的一致性を向上させる。
• モデルは新規に収集されたMPVデータセット上でエンドツーエンドに訓練され、DeepFashionで評価され、人間評価はAmazon Mechanical Turkを用いたA/Bテストで実施される。
• 本手法は、複雑なバーチャルトライオンタスクを3段階に分解する：パーセプション生成、ワープによる粗い画像合成、高精細なリファインメント。

実験結果

リサーチクエスチョン

• RQ1 2Dベースのバーチャルトライオンシステムは、多様な人体ポーズ間で衣類を効果的に転送しながら、アイデンティティおよびテクスチャディテールを保持できるか？
• RQ2 人体パーセプションからのハイレベルな意味的ガイドが、マルチポーズバーチャルトライオンにおけるアライメントと現実性をどのように向上させるか？
• RQ3 ポーズに適応したコンポジションマスクを組み込むことで、生成画像におけるディテール回復とアーティファクト抑制はどの程度向上するか？
• RQ4 提案されたマルチステージフレームワークは、視覚的品質および多様なポーズと衣類タイプへの一般化性において、SOTA手法と比較してどのように差をつけるか？

主な発見

• MPVデータセットでは、A/BテストにおいてVITONに対して83.1%、CP-VTONに対して85.9%のヒューマンプレファレンススコアを達成し、強力な知覚的品質を示した。
• DeepFashionでは、すべてのベースラインを上回り、VITONに対して88.9%、CP-VTONに対して84.6%のプレファレンススコアを記録し、強力な一般化性能を示した。
• アブレーションスタディにより、マルチポーズコンポジションマスク損失およびリファインメント段階がアーティファクトを顕著に低減し、テクスチャ忠実性を向上させることを確認した。
• 合成された人体パーセプションの品質は、最終生成画像の現実性と直接相関しており、これが主要な監視信号としての役割を果たしていることを裏付けた。
• MPVで訓練されたモデルはDeepFashionへも良好に一般化され、異なるデータセットでテストしても高品質な結果を生成した。
• リファインメント段階（w/o Render）またはコンポジションマスク（w/o Mask）を削除すると顕著な性能低下が生じ、これらがディテール回復において極めて重要な役割を果たしていることを確認した。