[論文レビュー] Creating Capsule Wardrobes from Fashion Images

Wei-Lin Hsiao, Kristen Grauman|arXiv (Cornell University)|Dec 7, 2017

3D Shape Modeling and Analysis参考文献 7被引用数 6

ひとこと要約

本論文では、ファッションアイテムの部分集合選択問題として定式化し、実世界の全身画像から学習した教師なしの相性モデルを用いて、オシャレな組み合わせのスコアを付けることで、自動的にキャプセルワードローブを生成する手法を提案する。このアプローチにより、視覚的な相性と多様性を満たし、人間が手作業で選んだワードローブと同等またはそれを上回る性能を達成するキャプセルの生成が可能となり、数千点の衣料品に対してもスケーラブルである。

ABSTRACT

We propose to automatically create capsule wardrobes. Given an inventory of candidate garments and accessories, the algorithm must assemble a minimal set of items that provides maximal mix-and-match outfits. We pose the task as a subset selection problem. To permit efficient subset selection over the space of all outfit combinations, we develop submodular objective functions capturing the key ingredients of visual compatibility, versatility, and user-specific preference. Since adding garments to a capsule only expands its possible outfits, we devise an iterative approach to allow near-optimal submodular function maximization. Finally, we present an unsupervised approach to learn visual compatibility from "in the wild" full body outfit photos; the compatibility metric translates well to cleaner catalog photos and improves over existing methods. Our results on thousands of pieces from popular fashion websites show that automatic capsule creation has potential to mimic skilled fashionistas in assembling flexible wardrobes, while being significantly more scalable.

研究の動機と目的

• 視覚的な相性と組み合わせ選択の複雑さに直面する中で、最小限で高効率にミックス可能な衣料品のセット（キャプセルワードローブ）を自動生成すること。
• 視覚的な相性、多様性、ユーザーの好みをモデル化する部分集合最適化関数を設計し、効率的な部分集合選択を実現すること。
• 教師ありラベルや共購入データに依存せずに、ラベルなしの実世界の全身ファッション画像から視覚的な相性を学習すること。
• 反復的かつ部分集合性に配慮した最適化戦略を用いて、大規模な在庫に対しても近似的に最適なキャプセル生成を可能にすること。

提案手法

• キャプセルワードローブ生成を、相互の相性、オシャレの多様性、ユーザー固有の好みを捉える目的関数を持つ部分集合選択問題として定式化する。
• オシャレの組み合わせを対象とした部分集合的関数を設計し、衣料品の追加に伴う効果の逓減を保証することで、効率的なグリーディ最適化を可能にする。
• 上着、ボトムス、靴などのレイヤーを交互に固定・選択することで、オシャレ構成全体にわたる部分集合性を活用する反復的アルゴリズムを導入する。
• 実世界の全身画像から予測された属性を用いて、相関トピックモデルを用いて生成モデルを学習し、k方向の視覚的相性を推定する。
• ストリートスタイルの写真とクリーンなカタログ画像の間のドメインギャップを埋めるために、カリキュラム学習のアプローチを採用し、学習済み相性の転送性を向上させる。
• 実世界の画像から学習した相性スコアを、カタログの個々のアイテムに翻訳し、ミックスアンドマッチの推奨に活用する。

実験結果

リサーチクエスチョン

• RQ1 教師ありラベルや共購入データに依存せず、ラベルなしの実世界のファッション画像から視覚的な相性を効果的に学習できるか？
• RQ2 部分集合最適化を活用することで、オシャレの多様性と相性を最大化する最小限の衣料品のセットをどのように効率的に選択できるか？
• RQ3 '実世界'の画像で学習した相性モデルが、ファッション推薦で使われるクリアで孤立したカタログ画像にどの程度一般化できるか？
• RQ4 自動生成キャプセルと人間が手作業で選んだワードローブとを比較した場合、視覚的な相性とオシャレの組み合わせの多様性において、どちらが優れているか？
• RQ5 本手法は、大規模な在庫に対しても、キャプセルの品質において近似的に最適な性能を維持しながらスケーラブルに動作するか？

主な発見

• ユーザー評価を通じて、本手法が人間のファッションエキスパートが選んだワードローブと同等またはそれ以上の視覚的相性を達成していることが検証された。
• ソーシャルファッションサイトの全身画像から学習した教師なし相性モデルは、カタログ画像へもうまく一般化され、既存の最先端手法を上回る相性スコアリング性能を示した。
• 反復的で部分集合性に配慮した最適化アプローチにより、数千点の衣料品を含む大規模な在庫に対しても、数秒で近似的に最適なキャプセル選択が達成された。ブルートフォース法では計算が不可能な規模の問題に対しても有効である。
• ユーザー評価では、本手法が生成するキャプセルが、ベースライン手法よりも常に好まれており、特に多様で相性の良いオシャレの組み合わせを生み出す点で優れていることが示された。
• 本手法は、多様性と相性のバランスをうまく取っており、スタイリッシュな定番アイテムを豊富に含む、高いミックスアンドマッチの可能性を持つキャプセルを生成する。一方、ベースライン手法は最近傍探索に依存するため、見た目が似通ったアイテムばかりを選択してしまう傾向がある。
• 相性モデルは「レース」が「スクープネック」と関連するなど、意味のある属性の相関関係を学習しており、予測精度の向上とより良いオシャレの構成を支援している。