[論文レビュー] Coherent and Controllable Outfit Generation

Chen Liu, Liu, Chen+1 more|arXiv (Cornell University)|Jun 17, 2019

Generative Adversarial Networks and Image Synthesis参考文献 18被引用数 15

ひとこと要約

本論文では、テキストクエリを用いてアウトレット構成をガイドすることで、一貫性があり制御可能なファッションスタイルの生成のための新規手法を提案する。画像とテキスト表現を整列させるマルチモーダル埋め込みを学習することで、アイテム同士の適合性とアイテム-クエリの一貫性を同時に最適化し、ユーザー指定のテーマと意味的に整合した、埋め込み空間内で密にクラスタリングされたアウトレットを生成する。これは、適合性予測と一貫性評価において、最先端の手法を上回る結果を示している。

ABSTRACT

When thinking about dressing oneself, people often have a theme in mind whether they're going to a tropical getaway or wish to appear attractive at a cocktail party. A useful outfit generation system should come up with clothing items that are compatible while matching a theme specified by the user. Existing methods use item-wise compatibility between products but lack an effective way to enforce a global constraint (e.g., style, occasion). We introduce a method that generates outfits whose items match a theme described by a text query. Our method uses text and image embeddings to represent fashion items. We learn a multimodal embedding where the image representation for an item is close to its text representation, and use this embedding to measure item-query coherence. We then use a discriminator to compute compatibility between fashion items. This strategy yields a compatibility prediction method that meets or exceeds the state of the art. Our method combines item-item compatibility and item-query coherence to construct an outfit whose items are (a) close to the query and (b) compatible with one another. Quantitative evaluation shows that the items in our outfits are tightly clustered compared to standard outfits. Furthermore, outfits produced by similar queries are close to one another, and outfits produced by very different queries are far apart. Qualitative evaluation shows that our method responds well to queries. A user study suggests that people understand the match between the queries and the outfits produced by our method.

研究の動機と目的

• 単一のアイテム適合性に依存する既存のアウトレット生成手法が、グローバルなテーマの強制を欠いているという問題に取り組むこと。
• スタイル、機会、季節、場所などを捉えた自然言語記述に従ってファッションアウトレットを生成できるようにすること。
• マルチモーダル埋め込みを用いて、アイテム同士の適合性とアイテム-クエリの一貫性を統合的にモデル化するフレームワークを開発すること。
• 埋め込み空間におけるクラスタの密着度と意味的一致性を測定することで、アウトレットの一貫性を定量的に評価すること。

提案手法

• 本手法はマルチモーダルアイテムエンコーダーを用い、ファッションアイテムの画像およびテキスト埋め込みを抽出し、同じアイテムの画像表現とテキスト表現が近くなる共有埋め込み空間を学習する。
• 適合性予測のためのディスクライマー・ネットワークを、アイテムの埋め込みに基づいて、ペアごとの適合性を予測するように訓練し、適合性予測タスクで最先端の性能を達成する。
• ファッションアイテムの埋め込みと、アウトレットを記述するテキストクエリの埋め込みとのコサイン類似度を測ることで、アイテム-クエリ一貫性を計算する。
• 微分可能なサンプリング戦略とバイアス分布を用い、ペairwise適合性とアイテム-クエリ一貫性の組み合わせを最大化するように、反復的にアイテムを選択することでアウトレットを生成する。
• 本手法は、埋め込み空間における生成されたアウトレットの平均クラスタサイズを測定することで、アウトレットの一貫性を評価する新しい評価指標を導入している。クラスタが小さいほど一貫性が高いとされる。
• クエリの変化に対する生成されたアウトレットの理解度を検証するため、ユーザースタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 自然言語クエリによって指定されたグローバルなテーマ（例：スタイル、機会、季節）を、ファッションアウトレット生成システムが効果的に強制できるか。
• RQ2 アイテム同士の適合性とアイテム-クエリ一貫性をどのように同時に最適化することで、意味的に整合性のあるアウトレットを生成できるか。
• RQ3 類似したクエリで生成されたアウトレットが、学習された埋め込み空間内でどれほど密にクラスタリングされるか。
• RQ4 提案手法は、適合性予測と一貫性評価の両面で、最先端の手法を上回ることができるか。
• RQ5 人間のユーザーは、入力クエリと整合した意味的に理解可能なアウトレットを生成できると認識できるか。

主な発見

• 標準的なベンチマークデータセット上の評価指標を用いた結果、提案手法はアイテム単位の適合性予測において、最先端の性能を達成または上回っている。
• 提案手法で生成されたアウトレットは、単にペアワイズ適合性のみを考慮するベースライン手法と比較して、平均クラスタサイズが顕著に小さく（一貫性が高くなる）なっている。
• アウトレットクラスタ中心間の距離とクエリ文の距離の間には正の相関関係が認められ、埋め込み損失におけるマージン値が大きくなるほどピアソン相関係数が上昇する。
• 平均アウトレットクラスタサイズと平均アウトレット中心間距離の比（s_c/d_c）は、マージン値が増加するにつれて減少し、異なるクエリからのアウトレット間の重複が減少し、意味的な分離が向上していることが示された。
• ユーザースタディの結果、62.4％の参加者がクエリに一致するアウトレットを正しく選択しており、システムが人間にとって意味的に理解可能なアウトレットを生成できていることが示された。
• 定性的な結果から、本システムは細かく指定された修飾語（例：『ボヘミアン』スタイルにおける『シティ』対『ビーチ』）に適切に対応し、色、靴、アクセサリーをそれに応じて調整していることが確認された。