[論文レビュー] Compatible and Diverse Fashion Image Inpainting

Xintong Han, Zuxuan Wu+3 more|arXiv (Cornell University)|Feb 4, 2019

Generative Adversarial Networks and Image Synthesis参考文献 72被引用数 19

ひとこと要約

本稿では、形状と外観の生成を分離することで、視覚的適合性と多様性を明示的にモデル化する、2段階の生成フレームワークFiNETを提案する。二重エンコーダーを用いて適合性に配慮した潜在表現を学習し、既存の衣類と調和する多様で写真実地的なファッションアイテムを生成する。DeepFashionにおいて、適合性、多様性、リアリズムの観点で先行手法を上回る性能を発揮する。

ABSTRACT

Visual compatibility is critical for fashion analysis, yet is missing in existing fashion image synthesis systems. In this paper, we propose to explicitly model visual compatibility through fashion image inpainting. To this end, we present Fashion Inpainting Networks (FiNet), a two-stage image-to-image generation framework that is able to perform compatible and diverse inpainting. Disentangling the generation of shape and appearance to ensure photorealistic results, our framework consists of a shape generation network and an appearance generation network. More importantly, for each generation network, we introduce two encoders interacting with one another to learn latent code in a shared compatibility space. The latent representations are jointly optimized with the corresponding generation network to condition the synthesis process, encouraging a diverse set of generated results that are visually compatible with existing fashion garments. In addition, our framework is readily extended to clothing reconstruction and fashion transfer, with impressive results. Extensive experiments with comparisons with state-of-the-art approaches on fashion synthesis task quantitatively and qualitatively demonstrate the effectiveness of our method.

研究の動機と目的

• ファッション画像合成における視覚的適合性モデリングの欠如に取り組むこと、特に多様でありながら調和的なファッションスタイリングを生成すること。
• 形状と外観の生成を分離することで、より高い写真実地性と制御性を実現する2段階の画像対画像生成フレームワークを開発すること。
• 共通の潜在空間を用いて衣類間の適合性を明示的にモデリングし、生成されたアイテムが周囲の衣類と調和することを保証すること。
• 文脈に適合する多様でマルチモーダルな出力を生成し、ファッション推薦やバーチャルトライオンなどの応用を支援すること。
• インpaintingを超えて、衣類の再構築とトランスファーへの応用を可能とするフレームワークの拡張を図ること。

提案手法

• FiNETは2段階のアーキテクチャを採用する：まず形状マスクを生成し、その後その形状に基づいて外観を合成する。
• 形状生成ネットワークは、ジェネレータと2つの相互作用するエンコーダーを用い、隣接する衣類からの適合性に配慮したコンテキストを条件とする潜在表現を学習する。
• 外観生成ネットワークも同様に二重エンコーダーを用い、潜在表現を適合性に配慮して最適化することで、写真実地的なテクスチャを生成する。
• 適合性モジュールは、1つのエンコーダーが欠落した衣類を、もう1つのエンコーダーがコンテキスト衣類をエンコードする共通の潜在空間を用い、適合性正則化を実現する。
• 潜在表現はジェネレータと共に最適化され、適合性を保持しつつ多様性を確保する条件付き合成を実現する。
• ターゲットの形状と外観埋め込みを条件として用いることで、衣類の再構築とトランスファーに対応する。

実験結果

リサーチクエスチョン

• RQ1 真の適合性アノテーションが存在しない状況において、ファッション画像生成における視覚的適合性をどのように明示的にモデリングできるか？
• RQ2 分離された形状と外観の生成は、ファッションインpaintingのリアリズムと多様性を向上させ得るか？
• RQ3 周囲の衣類と適合性を保ちながら、多様でマルチモーダルな出力をどのように生成できるか？
• RQ4 標準的なGANやVAEと比較して、適合性に配慮した潜在空間は生成品質をどの程度向上させるか？
• RQ5 適合性と多様性を維持したまま、再構築やトランスファーといったタスクへフレームワークを拡張できるか？

主な発見

• FiNETは、比較対象のすべての手法の中で最高の適合性スコアを達成し、適合性を維持できないBicycleGAN や VUNET といったベースラインを顕著に上回った。
• ユーザースタディーにおいて、FiNETは78.5％の高い人間の欺瞞率（fooling rate）を達成し、優れたリアリズムを示した。一方、Inception Scoreは人間の認識と相関が低かった。
• 適合性に配慮した正則化がなければ、BicycleGAN などの手法は非常に多様なが適合性に欠ける出力を生成するため、本研究で提案するモジュールの必要性が示された。
• FiNETは、さまざまな形状と外観を持つ例を示す定性的な結果から、文脈に適合する多様でマルチモーダルな出力を生成していることが明らかになった。
• フレームワークは、衣類の再構築とトランスファーの両タスクにおいて自然な結果を生成し、一般化性能を示した。
• LPIPSを用いた定量的評価により、FiNETの高い多様性（2,000組の画像ペアを用いて評価）が確認された。適合性は512次元の埋め込み空間におけるコサイン類似度で測定された。