[論文レビュー] VOGUE: Try-On by StyleGAN Interpolation Optimization

Kathleen M. Lewis, Srivatsan Varadharajan+1 more|arXiv (Cornell University)|Jan 6, 2021

Generative Adversarial Networks and Image Synthesis被引用数 20

ひとこと要約

VOGUEは、ターゲット人物のボディシェイプ、肌色、髪の毛の特徴と、リファレンスの衣装画像からのしわ、素材、パターンなどの衣装ディテールを滑らかに融合することで、512×512解像度の写真のようにリアルな仮想試着結果を生成するポーズ条件付きStyleGAN2潜在空間補間手法を提案する。主な貢献は、実用的で変形に配慮した衣装転送を達成するために、各潜在空間層ごとに補間係数を自動最適化することにある。

ABSTRACT

Given an image of a target person and an image of another person wearing a garment, we automatically generate the target person in the given garment. At the core of our method is a pose-conditioned StyleGAN2 latent space interpolation, which seamlessly combines the areas of interest from each image, i.e., body shape, hair, and skin color are derived from the target person, while the garment with its folds, material properties, and shape comes from the garment image. By automatically optimizing for interpolation coefficients per layer in the latent space, we can perform a seamless, yet true to source, merging of the garment and target person. Our algorithm allows for garments to deform according to the given body shape, while preserving pattern and material details. Experiments demonstrate state-of-the-art photo-realistic results at high resolution ($512 imes 512$).

研究の動機と目的

• ターゲット人物のアイデンティティと衣装の素材・パターンディテールを両方保持する、リアルで高解像度の仮想試着画像を生成する課題に対処すること。
• 手動のチューニングなしで、ターゲット人物のボディシェイプに応じた自然な衣装の変形を実現すること。
• 潜在空間補間を用いて、肌色、髪、ボディシェイプなどのソースおよびターゲット画像の属性を滑らかに融合すること。
• StyleGAN2の潜在空間層ごとに補間係数を自動最適化する戦略を開発し、仮想試着生成におけるリアリズムと一貫性を向上させること。

提案手法

• 本手法は、ターゲット人物のポーズに条件づけられたStyleGAN2ジェネレータを用い、潜在空間補間をターゲット人物のポーズに条件づける。
• ターゲット人物と衣装画像の間で潜在空間補間を実行し、各層ごとに最適化された係数を用いてアイデンティティと衣装の忠実度のバランスをとる。
• アイデンティティ、テクスチャ、構造的ディテールを保持する微分可能な損失関数を用いて、エンドツーエンドで最適化を実行する。
• StyleGAN2の分離された潜在空間を活用し、特定の属性（例：ターゲットからボディシェイプ、リファレンスから衣装）を分離して転送する。
• ハイレベルな潜在コードと空間的一致性に注目することで、しわや素材特性などの衣装のディテールを保持する。

実験結果

リサーチクエスチョン

• RQ1 StyleGAN2の潜在空間補間は、手動のハイパーパramータチューニングなしで、リアルで高解像度の仮想試着結果を生成できるか？
• RQ2 しわ、パターン、素材特性などの衣装ディテールは、アイデンティティ保持画像生成の過程でどのようにして保持できるか？
• RQ3 潜在空間層ごとの補間係数の自動最適化は、仮想試着生成におけるリアリズムと一貫性をどの程度向上させられるか？
• RQ4 本手法は、多様なボディシェイプと衣装タイプに一般化可能であり、512×512解像度で写真のようにリアルな結果を維持できるか？

主な発見

• 本手法は512×512解像度で最先端の写真的リアリズムを達成し、先行研究を上回る視覚的忠実度を示した。
• 潜在空間層ごとの補間係数の自動最適化により、アイデンティティと衣装属性の滑らかな融合が可能になった。
• StyleGAN2の潜在空間の分離性のおかげで、しわ、テクスチャ、パターンなどの衣装ディテールが効果的に保持された。
• 本手法は、ターゲット人物のボディシェイプに応じて衣装を自然に変形させつつ、構造的・素材的リアリズムを維持した。