[論文レビュー] Parser-Free Virtual Try-on via Distilling Appearance Flows

Yuying Ge, Yibing Song+4 more|arXiv (Cornell University)|Mar 8, 2021

Generative Adversarial Networks and Image Synthesis参考文献 31被引用数 10

ひとこと要約

本稿では、人間のパーサーに依存せずに、高品質で写真のようにリアルな試着画像を生成する、パーサーフリーのバーチャルトライオン手法PF-AFNを提案する。本手法は、新たな「教師−チューター−生徒」知識蒸留スキームを用い、パーサーに基づくモデルの出力を「チューター知識」とし、実際の人物画像を「教師知識」として自己教師付きの監視信号として用いる。これにより、生徒ネットワークは外観フローの知識蒸留を通じてアーティファクトを是正し、優れた結果を得る。

ABSTRACT

Image virtual try-on aims to fit a garment image (target clothes) to a person image. Prior methods are heavily based on human parsing. However, slightly-wrong segmentation results would lead to unrealistic try-on images with large artifacts. Inaccurate parsing misleads parser-based methods to produce visually unrealistic results where artifacts usually occur. A recent pioneering work employed knowledge distillation to reduce the dependency of human parsing, where the try-on images produced by a parser-based method are used as supervisions to train a "student" network without relying on segmentation, making the student mimic the try-on ability of the parser-based model. However, the image quality of the student is bounded by the parser-based model. To address this problem, we propose a novel approach, "teacher-tutor-student" knowledge distillation, which is able to produce highly photo-realistic images without human parsing, possessing several appealing advantages compared to prior arts. (1) Unlike existing work, our approach treats the fake images produced by the parser-based method as "tutor knowledge", where the artifacts can be corrected by real "teacher knowledge", which is extracted from the real person images in a self-supervised way. (2) Other than using real images as supervisions, we formulate knowledge distillation in the try-on problem as distilling the appearance flows between the person image and the garment image, enabling us to find accurate dense correspondences between them to produce high-quality results. (3) Extensive evaluations show large superiority of our method (see Fig. 1).

研究の動機と目的

• 不正確な人間のパーサーによるパーサーに基づくバーチャルトライオン手法に起因するアーティファクトの問題を解消すること。
• 従来のパーサーフリー手法における性能のボトル neck を克服し、教師モデルの出力に存在するアーティファクトによって制限される画像品質を改善すること。
• 実際の人物画像を監視信号として用いる自己教師付きの、パーサーフリーなフレームワークを構築し、画像のリアルさを向上させること。
• 人物と衣類の画像間の密な対応関係学習を、外観フロー蒸留により強化し、より優れたワープ品質を実現すること。

提案手法

• チューターはパーサーに基づくモデルで偽の試着画像を生成するが、教師は自己教師付きの監視に用いる実際の人物画像である。この「教師−チューター−生徒」知識蒸留フレームワークを採用する。
• チューターが生成する偽の試着画像を、パーサーフリーな生徒ネットワークの入力とし、実際の人物画像を再構築するように訓練することで、アーティファクトの是正が可能になる。
• 人物と衣類の画像間の密な対応情報を転送するため、外観フロー蒸留を採用し、ワープ精度を向上させる。
• 外観フロー推定ネットワーク（AFEN）を設計し、相関層と特徴の精練を含む、段階的なフローネット（FN）を組み合わせて、正確なフロー予測を実現する。
• パーサーに基づくチューターが正確なワープを生成した場合にのみ、生徒ネットワークをガイドする調整可能な知識蒸留を採用し、誤った予測の誤り伝播を回避する。
• 実際の画像からの再構築損失とフローに基づく蒸留を組み合わせて、生徒ネットワークを訓練することで、リアルで整合性の取れた試着結果を保証する。

実験結果

リサーチクエスチョン

• RQ1 パーサーに依存せず、人間のパーサーやセグメンテーションマスクを用いずに、優れた画像品質のパーサーフリーなバーチャルトライオンモデルを実現できるか？
• RQ2 実際の人物画像を監視信号として自己教師付きで使用することで、パーサーに基づくモデルのアーティファクトから蒸留するのと比較して、試着結果のリアルさが向上するか？
• RQ3 人物と衣類の画像間で外観フローを蒸留することで、より正確な密な対応関係が得られ、ワープ品質が向上するか？
• RQ4 調整可能な知識蒸留スキームにより、チューターの誤った予測から生徒ネットワークが学習するのを防げるか？
• RQ5 本手法は、画像の忠実度とリアルさの観点から、最先端のパーサーに基づくおよびパーサーフリーな手法と比較して、どのように優れているか？

主な発見

• VITONデータセットにおいて、PF-AFNは10.09のFréchet Inception Distance（FID）を達成し、パーサーに基づく手法および先行のパーサーフリー手法WUTONを顕著に上回った。
• MPVデータセットでは、FIDおよびユーザーの好みの両面でWUTONを上回り、ユーザー比較の71.62％がPF-AFNをWUTONよりも好んだ。
• アブレーションスタディの結果、AFEN内の精錬、相関、または段階的モジュールを削除すると性能が劣化し、FIDは10.09から11.90以上に上昇した。
• 調整可能な知識蒸留スキームにより、FIDは10.09に低下した。対照的に、蒸留なしでは11.40、固定蒸留では10.86となり、誤ったチューターのガイドラインをフィルタリングする有効性が裏付けられた。
• ユーザー評価では、CP-VTON、ClothFlow、ACGPN、WUTONと比較して、PF-AFNがよりリアルで視覚的に好まれる試着画像を生成することが確認され、A/Bテストでも大多数の選好がPF-AFNに集まった。
• 外観フロー蒸留コンponentは極めて重要である。これを削除するか、単純なエンコーダデコーダアーキテクチャを用いることで、FIDスコアが著しく悪化し、正確な対応関係学習の役割が明確になった。