[論文レビュー] PT-VTON: an Image-Based Virtual Try-On Network with Progressive Pose Attention Transfer

Hanhan Zhou, Tian Lan+1 more|arXiv (Cornell University)|Nov 23, 2021

Image Enhancement Techniques参考文献 26被引用数 5

ひとこと要約

PT-VTON は、プログレッシブなポーズアテンション転送ネットワークとデュアルテクスチャ転送手法を用いて、任意のポーズで新しい服を着たユーザーの高精細な画像合成を可能にするポーズ転送ベースのバーチャルトライオンフレームワークを提案する。本手法は、ユーザーのアイデンティティ、ボディーシェイプ、生地のディテールを保持する点で最先端の性能を達成しており、マルチビュー（サイドおよびリア）出力をサポートする。システムの変更を最小限に抑えつつ、定量的指標と定性的な現実性の両面で先行手法を上回っている。

ABSTRACT

The virtual try-on system has gained great attention due to its potential to give customers a realistic, personalized product presentation in virtualized settings. In this paper, we present PT-VTON, a novel pose-transfer-based framework for cloth transfer that enables virtual try-on with arbitrary poses. PT-VTON can be applied to the fashion industry within minimal modification of existing systems while satisfying the overall visual fashionability and detailed fabric appearance requirements. It enables efficient clothes transferring between model and user images with arbitrary pose and body shape. We implement a prototype of PT-VTON and demonstrate that our system can match or surpass many other approaches when facing a drastic variation of poses by preserving detailed human and fabric characteristic appearances. PT-VTON is shown to outperform alternative approaches both on machine-based quantitative metrics and qualitative results.

研究の動機と目的

• 訓練データと著しく異なるポーズやボディーシェイプを持つユーザーに対して、現実的なバーチャルトライオンを実現する課題に対処すること。
• 服の転送中に顔の特徴、肌色、ボディーシェイプといった微細なユーザー特徴を保持すること。
• 3D再構築や物理的測定を一切行わず、2D画像のみを用いて360度のバーチャルトライオンを可能にすること。
• 既存のモデル画像コレクションに依存しつつ、ファッション産業で実用的かつ最小限の統合作業で導入可能なフレームワークを構築すること。
• ポーズに応じたワープと2つの特化したテクスチャ転送戦略を組み合わせることで、複雑さの異なる服に対してもテクスチャ転送の忠実度を向上させること。

提案手法

• フレームワークは、ユーザーの入力画像に最も近いポーズを持つモデル画像を選択するためのポーズ類似度推定モジュールを用いる。
• プログレッシブなポーズアテンション転送ネットワーク（PATN）が、キーポointガイドド特徴アライメントと知覚的幾何マッチング損失を用いて、モデルの服付き画像をユーザーのポーズに合わせて変形する。
• 転移学習を活用した二段階のトレーニング戦略を採用し、事前学習済みモデルとモデル画像のバッチ学習を用いることで、特徴の保持を強化する。
• 2種類のテクスチャ転送手法を用いる：単純なケースにはガウス平滑化を伴うコピーペースト、複雑なまたは不一致のある服タイプにはテクスチャ翻訳ネットワーク。
• 条件付きセグメンテーションマスクがテクスチャ転送プロセスをガイドし、ソースとターゲットのボディ領域間の正確なアライメントを保証する。
• 服の種類に著しい変化（例：長袖から短袖）がある場合、モデルから得た四肢と色調が一致する肌色を用いて欠落している身体部位を補完する。

実験結果

リサーチクエスチョン

• RQ1 3D再構築や物理的測定を一切行わず、2Dのバーチャルトライオンシステムは、任意のポーズにおいて詳細なユーザーのアイデンティティと生地の外観を保持できるか？
• RQ2 ソースとターゲットのポーズが著しく異なる場合、構造的一致性と視覚的リアリズムを維持するためにポーズ転送をどのように最適化できるか？
• RQ3 限られたユーザーデータと豊富なモデル画像を用いる状況で、効果的な特徴保持を実現するためのトレーニング戦略は何か？
• RQ4 マルチステージフレームワークは、アイデンティティ保持性を維持したまま、マルチビューのバーチャルトライオン（例：サイドおよびリアビュー）をサポートできるか？
• RQ5 服の複雑さやポーズの不一致の程度に応じて、異なるテクスチャ転送戦略の性能とロバスト性はどのように比較できるか？

主な発見

• PT-VTON はインセプションスコア（IS）3.28を達成し、CP-VTON（2.66）、SwapNet（3.04）、Sievenet（2.91）を上回り、画像品質の優位性を示している。
• コピーペースト法を用いたテクスチャ転送では、SSIM 0.833、MS-SSIM 0.839 を達成し、他のベースラインより構造的類似性で優れている。
• システムは100件のバーチャルトライオンリクエストを平均6秒で処理でき、大規模な展開に適した低遅延性を示している。
• 定性的な結果から、サイドおよびリアビューを含む多様なポーズにおいても、顔の特徴、肌色、ボディーシェイプの保持が一貫していることが確認された。
• アブレーションスタディの結果、特化したトレーニング戦略とPATNアーキテクチャが、標準的なポーズ転送ネットワークよりも顕著に性能を向上させていることが裏付けられた。
• 失敗事例の主な原因はキーポイントマップの不一致であり、極端なポーズにおけるポーズ推定の正確性に感受性があることが示された。