[論文レビュー] RMGN: A Regional Mask Guided Network for Parser-free Virtual Try-on

Lin Chao, Zhao Li+7 more|arXiv (Cornell University)|Apr 24, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本論文は、参照人物とターゲット衣料の特徴を明示的に融合するために、適応的領域マスクを用いるパーサーフリー仮想試着ネットワークRMGNを提案する。これにより、元の衣料に由来する残留アーティファクトが解消される。マルチレベル特徴抽出器とポーズに配慮した損失を組み込むことで、高解像度・複雑なポーズ設定において最先端の性能を達成し、パーサーフリーおよびパーサーベースの両方の手法を上回る忠実性と現実性を実現する。

ABSTRACT

Virtual try-on(VTON) aims at fitting target clothes to reference person images, which is widely adopted in e-commerce.Existing VTON approaches can be narrowly categorized into Parser-Based(PB) and Parser-Free(PF) by whether relying on the parser information to mask the persons' clothes and synthesize try-on images. Although abandoning parser information has improved the applicability of PF methods, the ability of detail synthesizing has also been sacrificed. As a result, the distraction from original cloth may persistin synthesized images, especially in complicated postures and high resolution applications. To address the aforementioned issue, we propose a novel PF method named Regional Mask Guided Network(RMGN). More specifically, a regional mask is proposed to explicitly fuse the features of target clothes and reference persons so that the persisted distraction can be eliminated. A posture awareness loss and a multi-level feature extractor are further proposed to handle the complicated postures and synthesize high resolution images. Extensive experiments demonstrate that our proposed RMGN outperforms both state-of-the-art PB and PF methods.Ablation studies further verify the effectiveness ofmodules in RMGN.

研究の動機と目的

• パーサーフリー仮想試着手法における、参照衣料に由来する残留アーティファクトという継続的な問題に対処すること。
• 人間のパーサーに依存せずに、仮想試着における高解像度画像合成を改善すること。
• 仮想試着生成における複雑な人体ポーズへの耐性を高めること。
• 人物と衣料の関連特徴を明示的に融合し、余計な特徴を抑制する生成器を設計すること。
• パーサーのアノテーションを必要とせず、パーサーベース手法と同等またはそれ以上の性能を達成すること。

提案手法

• マルチレベル特徴抽出器を用いて、参照人物とターゲット衣料から別々に高解像度特徴を抽出する。
• 両入力の特徴から適応的に領域マスクを生成し、特徴融合を誘導する。これにより、パーサーの必要性が排除される。
• 領域マスクにより、ターゲット衣料領域を強調し、元の衣料特徴を抑制することで、選択的特徴融合を実現する。
• ポーズに配慮した損失を導入し、構造的一致性とボディの端縁に注目することで、さまざまなポーズにわたる一般化性能を向上させる。
• 生成器は領域マスクを用いて、ターゲット衣料のパターンと色を保持する形で特徴を統合する。
• 循環的整合性と偽画像サンプリングを用いた、敵対的損失と知覚的損失を組み合わせ、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 パーサーフリー仮想試着手法は、人間のパーサーに依存せずに、高忠実度の結果を達成できるか？
• RQ2 パーサーフリーVTONにおける特徴融合をどのように改善すれば、参照人物の衣料由来の残留アーティファクトを除去できるか？
• RQ3 学習可能な領域マスクは、仮想試着における特徴融合誘導のためのセグメンテーションマップに効果的に代わることができるか？
• RQ4 ポーズに配慮した損失は、仮想試着における複雑な人体ポーズへの一般化性能をどの程度向上させられるか？
• RQ5 パーサーフリー手法は、高解像度設定において、パーサーベース手法と同等またはそれ以上の性能を達成できるか？

主な発見

• RMGNは、VITONデータセット（512×384）において、Fréchet Inception Distance (FID) 9.93を達成し、最先端の手法を上回った。
• アブレーションスタディにより、領域マスクを削除すると、元の衣料由来の黒い残留領域が明確に可視化されることが確認され、アーティファクト抑制におけるマスクの役割が裏付けられた。
• ポーズに配慮した損失により、特に複雑なポーズにおいて構造的一致性が顕著に向上し、定性的比較で明確に示された。
• ポーズに配慮した損失に使用する偽画像の数を増やすことで、画像品質が向上し、その有効性が実証された。
• ユーザースタディでは、A/BテストにおいてRMGNが生成した画像が、ベースラインと比較してより現実的であると評価された。
• 領域マスクの可視化により、異なるスリーブ長さやポーズに対しても、ターゲット衣料領域に適応的に注目し、元の衣料特徴を効果的に抑制できることを確認した。