[論文レビュー] VITON-GAN: Virtual Try-on Image Generator Trained with Adversarial Loss

Shion Honda|arXiv (Cornell University)|Jan 1, 2019

Generative Adversarial Networks and Image Synthesis被引用数 23

ひとこと要約

本論文では、人物のポーズ表現、衣類画像、生成出力を用いて生成器を敵対的に訓練する discriminator を統合することで、被覆領域における画像品質を向上させる、VITON-GAN と呼ばれる仮想試着用の生成的敵対ネットワークを提案する。このモデルは、特に腕が交差するような困難な状況でも、よりシャープで現実的な試着画像を生成する。

ABSTRACT

Generating a virtual try-on image from in-shop clothing images and a model person's snapshot is a challenging task because the human body and clothes have high flexibility in their shapes. In this paper, we develop a Virtual Try-on Generative Adversarial Network (VITON-GAN), that generates virtual try-on images using images of in-shop clothing and a model person. This method enhances the quality of the generated image when occlusion is present in a model person's image (e.g., arms crossed in front of the clothes) by adding an adversarial mechanism in the training pipeline.

研究の動機と目的

• モデルの身体的部分（例：腕）が衣類によって被覆される状況において、高品質な仮想試着画像を生成する課題に取り組む。
• CP-VTON などの従来手法が再構成損失に依存するが、被覆状況でぼやけた結果を生じるという限界を克服する。
• 敵対的訓練を用いて、仮想試着生成における視覚的忠実度と知覚的現実性を向上させる。
• 店舗内の衣類画像とモデルのスナップショットから、正確で高解像度の試着画像を生成することで、より現実的な e コマース体験を実現する。

提案手法

• CP-VTON から採用した二段階アーキテクチャ：ジオメトリマッチングモジュール（GMM）とトライオンモジュール（TOM）を採用する。
• TOM に敵対的訓練を導入し、本物の試着画像と生成画像を区別する discriminator を追加する。
• 生成画像、店舗内衣類画像、人物表現（ポーズとパースリングマップ）を入力として discriminator を訓練する。
• GMM において、生成画像と本物の衣類レイヤーの間の L1 損失を用い、構造的詳細を保持する。
• 一般化を向上させるために、データオーグメンテーションとしてランダムな水平反転を適用する。
• 敵対的損失を用いて、全体のパイプラインをエンドツーエンドで訓練し、知覚的品質と現実性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練は、特に被覆領域において、仮想試着画像の現実性とシャープネスを向上させることができるか？
• RQ2 複雑な身体-衣類相互作用を処理する際、敵対的損失は再構成ベースの損失と比べてどのように優れているか？
• RQ3 身体が部分的に被覆されている場合、モデルは手や腕のような細部をどの程度正確に保持できるか？
• RQ4 衣類のトポロジー的変化（例：半袖から長袖への変更）に対処する際、モデルの失敗モードは何か？
• RQ5 ベースライン手法と比較して、敵対的損失の統合により、生成画像のぼやけ具合は軽減されるか？

主な発見

• CP-VTON と比較して、VITON-GAN は被覆状況（例：腕を交差させた場合）において、より明確で現実的な腕や手の生成に成功している。
• モデルはほとんどのテストケースで高い画像品質を維持しており、非被覆状況では最先端の手法と同等の結果を出している。
• 改善は見られるが、複雑なポーズや衣類の過渡的変化の状況では、時折ぼやけた画像が生成されることがある。
• TPS 変換がトポロジー的変化（例：半袖シャツから長袖シャツへの置き換え）を処理できない場合に失敗が生じる。
• 敵対的損失は、知覚的品質を効果的に向上させ、特に部分的被覆領域でのぼやけ具合を軽減する。
• モデルは大部分の状況で被覆に対して頑健であるが、衣類の構造的変化が著しい場合には依然として課題が残っている。