[論文レビュー] PASTA-GAN++: A Versatile Framework for High-Resolution Unpaired Virtual Try-on

Zhenyu Xie, Zaiyu Huang+6 more|arXiv (Cornell University)|Jul 27, 2022

Image Enhancement Techniques被引用数 5

ひとこと要約

PASTA-GAN++ は、パッチルーティング分散モジュールとパッチガイドドパースィング合成ブロックを備えたデュアルパス・スタイルGAN2ジェネレータを用いて、任意の衣類カテゴリと細分化された編集をサポートする、高解像度で非教師ありのエンドツーエンドな新規フレームワークを提案する。新規に収集された高解像度非ペア仮想試着（UPT）データセットにおいて最先端の性能を達成し、着せ替え順序制御、テクスチャ／形状転送、局所的形状変更といった制御可能な編集を可能にする。

ABSTRACT

Image-based virtual try-on is one of the most promising applications of human-centric image generation due to its tremendous real-world potential. In this work, we take a step forwards to explore versatile virtual try-on solutions, which we argue should possess three main properties, namely, they should support unsupervised training, arbitrary garment categories, and controllable garment editing. To this end, we propose a characteristic-preserving end-to-end network, the PAtch-routed SpaTially-Adaptive GAN++ (PASTA-GAN++), to achieve a versatile system for high-resolution unpaired virtual try-on. Specifically, our PASTA-GAN++ consists of an innovative patch-routed disentanglement module to decouple the intact garment into normalized patches, which is capable of retaining garment style information while eliminating the garment spatial information, thus alleviating the overfitting issue during unsupervised training. Furthermore, PASTA-GAN++ introduces a patch-based garment representation and a patch-guided parsing synthesis block, allowing it to handle arbitrary garment categories and support local garment editing. Finally, to obtain try-on results with realistic texture details, PASTA-GAN++ incorporates a novel spatially-adaptive residual module to inject the coarse warped garment feature into the generator. Extensive experiments on our newly collected UnPaired virtual Try-on (UPT) dataset demonstrate the superiority of PASTA-GAN++ over existing SOTAs and its ability for controllable garment editing.

研究の動機と目的

• 非ペアデータを用いた非教師あり学習を可能にする、多様性に富んだ仮想試着システムの開発。
• 1つのモデル内で上半身、下半身、ドレスなど、任意の衣類カテゴリを処理できるようにすること。
• 着せ替え順序制御、テクスチャ／形状転送、局所的形状編集などの細分化された制御可能な衣類編集をサポートすること。
• ペアデータやオンライン最適化を一切使用せずに、高精細で写真並みのリアルな試着結果を生成すること。

提案手法

• パッチルーティング分散モジュールを導入し、衣類を正規化された空間的パッチに分解することで、スタイルと空間的レイアウトを分離し、非教師あり学習における過学習を低減する。
• パッチベースの衣類表現とパッチガイドドパースィング合成ブロックを採用し、動的かつカテゴリに依存しない多様な衣類タイプの生成を実現する。
• 空間的に適応する残差モジュールを統合し、粗い変形処理済みの衣類特徴をジェネレータに組み込むことで、テクスチャの詳細を保持し、リアルさを向上させる。
• 人物画像とパッチ埋め込み済みの衣類表現の両方に条件付けたデュアルパス・スタイルGAN2ジェネレータアーキテクチャを採用し、正確で局所的な編集を可能にする。
• 性能と一般化能力を検証するため、512×320解像度の新規な高解像度非ペア仮想試着（UPT）ベンチマークを活用する。
• 個々の正規化パッチを潜在空間で操作することで、形状／テクスチャ転送や局所的変更が可能な制御可能な編集を実現する。

実験結果

リサーチクエスチョン

• RQ1 1つのモデルが、シャツ、ドレス、パンツなど多様な衣類カテゴリに一般化可能か（カテゴリ固有の微調整を必要としないか）？
• RQ2 非ペアデータに対する非教師あり学習が、ペアの教師信号なしにどれほど高精細な仮想試着を達成できるか？
• RQ3 着せ替え順序制御や局所的形状変更といった細分化された制御可能な衣類編集をモデルがサポートできるか？
• RQ4 パッチベース表現が非教師あり仮想試着における分散性を向上させ、過学習を低減する仕組みとしてどのように機能するか？

主な発見

• PASTA-GAN++ は新たに収集された UPT データセットにおいて最先端の性能を達成し、定量的指標と視覚的品質の両面で既存の最先端手法を上回っている。
• ほとんどの先行手法が上半身や固定カテゴリに限定されるのに対し、PASTA-GAN++ は1つの事前学習済みフレームワーク内で任意の衣類カテゴリを効果的にサポートしている。
• パッチレベルでの操作によって制御可能な編集が可能で、たるませる／たるませない（着せ替え順序制御）、テクスチャ／形状転送、高精細な局所的形状編集が実現されている。
• パッチルーティング分散モジュールはスタイルと空間的レイアウトを効果的に分離し、非教師あり学習における過学習を低減し、一般化性能を向上させている。
• 空間的に適応する残差モジュールは、最終的な試着結果におけるテクスチャの詳細保持とリアリズムを顕著に向上させている。
• 広範なアブレーションスタディにより、各モジュールの有効性が確認されており、特にパッチガイドドパースィング合成ブロックが柔軟でカテゴリに依存しない生成を可能にしていることが示された。