[論文レビュー] LGVTON: A Landmark Guided Approach to Virtual Try-On

Debapriya Basu Roy, Sanchayan Santra+1 more|arXiv (Cornell University)|Apr 1, 2020

Generative Adversarial Networks and Image Synthesis参考文献 47被引用数 7

ひとこと要約

LGVTONは、衣装の画像を別途必要とせず、人物とモデルの画像のみを用いて、モデルの服を着た人物のリアルな画像を生成するランドマークガイドドなバーチャルトライオン手法を提案する。ランドマークを用いて薄板スプライン（TPS）変形を実行し、その後マスク生成器と画像合成器による精錬を経て、MPVおよびDeepFashionデータセットで最先端の性能を達成し、FIDは低く、SSIMは高いスコアを記録した。

ABSTRACT

In this paper, we propose a Landmark Guided Virtual Try-On (LGVTON) method for clothes, which aims to solve the problem of clothing trials on e-commerce websites. Given the images of two people: a person and a model, it generates a rendition of the person wearing the clothes of the model. This is useful considering the fact that on most e-commerce websites images of only clothes are not usually available. We follow a three-stage approach to achieve our objective. In the first stage, LGVTON warps the clothes of the model using a Thin-Plate Spline (TPS) based transformation to fit the person. Unlike previous TPS-based methods, we use the landmarks (of human and clothes) to compute the TPS transformation. This enables the warping to work independently of the complex patterns, such as stripes, florals, and textures, present on the clothes. However, this computed warp may not always be very precise. We, therefore, further refine it in the subsequent stages with the help of a mask generator (Stage 2) and an image synthesizer (Stage 3) modules. The mask generator improves the fit of the warped clothes, and the image synthesizer ensures a realistic output. To tackle the problem of lack of paired training data, we resort to a self-supervised training strategy. Here paired data refers to the image pair of model and person wearing the same cloth. We compare LGVTON with four existing methods on two popular fashion datasets namely MPV and DeepFashion using two performance measures, FID (Fréchet Inception Distance) and SSIM (Structural Similarity Index). The proposed method in most cases outperforms the state-of-the-art methods.

研究の動機と目的

• 別々の衣装画像がほとんど入手できないeコマース分野におけるバーチャルトライオンの課題に取り組む。
• ストライプやフラワー柄のような複雑なテクスチャが存在する状況でも、従来手法が性能を低下させる問題を改善する。
• 特徴マッチングに依存する従来のTPSベースの変形手法では、衣装の詳細やフィット感を正確に保持できないという制限を克服する。
• 同一衣装を着たモデル・人物ペアのペairedデータが不足する問題を緩和するため、自己教師あり学習戦略を開発する。
• マスク生成器と画像合成器モジュールによる精錬により、アーチファクトのないリアルなバーチャルトライオン結果を実現する。

提案手法

• 関節などの人体ランドマークと、カラーやヘムラインなどのファッションランドマークを制御点として用い、モデルの衣装をターゲット人物のボディ形状とポーズに合わせて薄板スプライン（TPS）変形することで、衣装を変形させる。
• ランドマーク対応関係を活用して初期の変形衣装画像を生成するポーズガイドド・ワーピングモジュール（PGWM）を適用し、ストライプやフラワー柄のような複雑なパターンに対しても耐性を確保する。
• アワーガラスCNNアーキテクチャに基づくマスク生成モジュール（MGM）を採用し、変形後の衣装マスクの精錬を実施することで、アライメントの向上とオクルージョン・変形の処理を改善する。
• GANベースの生成器とパッチベースの識別器（patchGAN）を備えた画像合成器モジュール（ISM）を用い、変形衣装とターゲット人物の画像を組み合わせて、リアルで高精細な画像を合成する。
• ターゲット人物のパースリングマスクを入力として用い、敵対的損失、L1損失、DSSIM損失を組み合わせた自己教師あり学習戦略でISMを訓練し、アーチファクトの低減を図る。
• アワーガラスネットワークにスキップ接続とマルチスケール特徴抽出を統合し、生成出力の空間的把握と構造的一致性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ストライプやフラワー柄のような複雑なパターン下でも、特徴マッチングに依存する手法と比較して、ランドマークベースのTPS変形が衣装の詳細やフィット感をより良く保持できるか？
• RQ2 自己教師あり学習戦略は、バーチャルトライオンタスクにおけるペアデータ不足の問題をどの程度緩和できるか？
• RQ3 マスク生成器と画像合成器の組み合わせは、アーチファクトの低減とリアルさの向上にどの程度有効か？
• RQ4 人体ランドマークとファッションランドマークを制御点として用いることで、エンドツーエンドの特徴マッチングと比較して、より正確で一貫性のある衣装変形が達成できるか？
• RQ5 提案された3段階フレームワーク（変形、マスク精錬、画像合成）は、MPVやDeepFashionといったベンチマークデータセットで最先端の性能を達成できるか？

主な発見

• MPVおよびDeepFashionデータセットの両方において、FIDとSSIMの観点から4つの最先端手法を上回り、FIDが低く、SSIMが高いスコアを記録した。
• 最終出力におけるアーチファクトが顕著に低減され、特に画像合成器モジュールにターゲットマスクを入力にした場合に顕著に改善が見られた。視覚的比較では、その入力がないとアーチファクトが残存する例も確認された。
• ランドマークガイドドTPS変形モジュールは、衣装のテクスチャーや色を正確に保持しており、特に複雑な柄の衣装ではM2E-TONで観察された色やテクスチャの劣化を回避した。
• ファッションランドマークの活用により、シャツのヘッドのようなパターンが従来の幾何的マッチング手法を混乱させる状況でも、正確な変形が可能となった。
• マスク生成器は、変形後の衣装における部分的オクルージョンやアライメントのずれに対処し、フィット感の向上と目立つシームや歪みの低減に寄与した。
• 自己教師あり学習戦略により、ペアデータがなくても効果的なモデル学習が可能であることが示され、非ペアのモデル・人物画像からの学習の可能性を実証した。