[論文レビュー] Cloth Interactive Transformer for Virtual Try-On

Bin Ren, Hao Tang+4 more|arXiv (Cornell University)|Apr 12, 2021

Generative Adversarial Networks and Image Synthesis被引用数 14

ひとこと要約

本論文は、2次元画像ベースのバーチャルトライオンのための2段階型 Cloth Interactive Transformer (CIT) を提案する。クロスアテンショントランスフォーマーを用いて、ワープおよびレンダリング段階の両方で、人物と衣類の特徴間の長距離で相互に作用する相関関係をモデル化する。本手法は、テクスチャの忠実度とマスクの整合性を向上させることで、標準指標の改善がやや限定的であるものの、視覚的品質において先行手法を上回るより現実的なトライオン結果を達成する。

ABSTRACT

The 2D image-based virtual try-on has aroused increased interest from the multimedia and computer vision fields due to its enormous commercial value. Nevertheless, most existing image-based virtual try-on approaches directly combine the person-identity representation and the in-shop clothing items without taking their mutual correlations into consideration. Moreover, these methods are commonly established on pure convolutional neural networks (CNNs) architectures which are not simple to capture the long-range correlations among the input pixels. As a result, it generally results in inconsistent results. To alleviate these issues, in this paper, we propose a novel two-stage cloth interactive transformer (CIT) method for the virtual try-on task. During the first stage, we design a CIT matching block, aiming to precisely capture the long-range correlations between the cloth-agnostic person information and the in-shop cloth information. Consequently, it makes the warped in-shop clothing items look more natural in appearance. In the second stage, we put forth a CIT reasoning block for establishing global mutual interactive dependencies among person representation, the warped clothing item, and the corresponding warped cloth mask. The empirical results, based on mutual dependencies, demonstrate that the final try-on results are more realistic. Substantial empirical results on a public fashion dataset illustrate that the suggested CIT attains competitive virtual try-on performance.

研究の動機と目的

• 既存の2次元画像ベースのバーチャルトライオン手法が、人物と衣類の特徴間の相互相関を適切にモデル化できないという限界を解決すること。
• 純粋なCNNの能力を超えて、長距離の空間的依存関係を捉えることで、ワープされた衣類のリアルさを向上させること。
• 統合されたトランスフォーマー基盤の推論フレームワークを用いて、人物表現、ワープされた衣類、およびそのマスクの間の相互作用的依存関係をモデル化し、最終的なトライオン画像の品質を向上させること。
• 模様やテクスチャのある衣類のような複雑なケースにおいて、アーチファクトを低減し、視覚的妥当性を向上させること。

提案手法

• 2段階フレームワークを提案：(1) ジオメトリックマッチング段階では、クロスアテンションを用いて人物と衣類の特徴を精緻化するCITマッチングブロックを用い、(2) トライオン段階では、マルチモダリティ相互作用を処理するCITリーディングブロックを用いる。
• CITマッチングブロックに学習可能なクロスアテンショントランスフォーマー符号化器を採用し、衣類に依存しない人物特徴と店舗内衣類特徴間の長距離相関関係をモデル化する。
• 人物表現、ワープされた衣類、およびそのマスクを同時にモデル化する新しい3モダリティCITリーディングブロックを導入し、マスク構成と特徴精錬を改善する。
• 空間的ワープにthin-plate spline (TPS) 変換を用い、CITマッチングブロックから生成された相関マップでガイドする。
• ワープマスクのL1損失と正則化を含むマルチ損失学習目的を採用し、整合性と詳細の保持を向上させる。
• 自己アテンション機構を活用してグローバルな文脈モデリングを可能にし、標準的な畳み込みネットワークの局所的感受野の制限を克服する。

実験結果

リサーチクエスチョン

• RQ1 相互作用的アテンション機構は、バーチャルトライオンにおける人物と衣類特徴間の長距離依存関係のモデル化を改善できるか？
• RQ2 人物、ワープされた衣類、およびそのマスクの間の相互相関を明示的にモデル化することで、より現実的なトライオン結果が得られるか？
• RQ3 2段階のトランスフォーマー基盤アーキテクチャは、複雑なテクスチャやパターンに対しても、CNNベースのベースラインを視覚的品質で上回れるか？
• RQ4 IoU や FID といった標準指標は、バーチャルトライオンにおける人間のリアルさの認識とどの程度相関しているか？

主な発見

• CITモデル全体（B3）は、指標と視覚的品質の両立が図られており、FIDが13.97、KIDが0.761を達成。JSとISスコアがわずかに低いものの、知覚的品質においてCP-VTON+ベースラインを上回る。
• アブレーションスタディの結果、CITリーディングブロックを追加するだけで（B2）、SSIMとISが向上し、特徴精錬と画像の明瞭性が向上していることが示された。
• CITマッチングブロック（B1）は、ワープされた衣類のリアルさを顕著に向上させた。定性的な結果から、テクスチャの整合性が向上し、アーチファクトが減少していることが確認された。
• IoU（0.813）が高く、LPIPS（0.110）が低いにもかかわらず、追加のL1マスク損失を導入したB4バージョンは、B3よりも悪い視覚的結果を生じた。これは、高い指標スコアが必ずしも優れた知覚的品質を意味しないことを示唆している。
• ユーザースタディの結果、B4が一部の指標で優れていたにもかかわらず、B3（完全なCIT）がより写真のようなリアルな結果を生成し、衣類の細部をよりよく保持していることが確認された。
• 失敗事例から、大きな衣類・参照の乖離、自己遮蔽、ポーズと衣類の不整合に対処できないという限界が明らかになった。これにより、より良い入力アノテーションや3Dデータ統合の必要性が示唆された。