[論文レビュー] Interpretable Partitioned Embedding for Customized Fashion Outfit Composition

Zunlei Feng, Zhenyun Yu+4 more|arXiv (Cornell University)|Jun 13, 2018

Generative Adversarial Networks and Image Synthesis参考文献 3被引用数 3

ひとこと要約

本論文では、自己符号化器、教師あり属性ラベル、敵対的独立性制約を用いて、ファッションアイテムの解釈可能で属性固有の表現を学ぶパーティショニング埋め込みネットワークを提案する。この手法により、透明性のある属性レベルの一致スコアを用いて、個別化されたオシャレなコーディネートの構成が可能となり、従来のディープラーニング手法に比べて解釈性とユーザーの好みに著しく寄与する。

ABSTRACT

Intelligent fashion outfit composition becomes more and more popular in these years. Some deep learning based approaches reveal competitive composition recently. However, the unexplainable characteristic makes such deep learning based approach cannot meet the the designer, businesses and consumers' urge to comprehend the importance of different attributes in an outfit composition. To realize interpretable and customized fashion outfit compositions, we propose a partitioned embedding network to learn interpretable representations from clothing items. The overall network architecture consists of three components: an auto-encoder module, a supervised attributes module and a multi-independent module. The auto-encoder module serves to encode all useful information into the embedding. In the supervised attributes module, multiple attributes labels are adopted to ensure that different parts of the overall embedding correspond to different attributes. In the multi-independent module, adversarial operation are adopted to fulfill the mutually independent constraint. With the interpretable and partitioned embedding, we then construct an outfit composition graph and an attribute matching map. Given specified attributes description, our model can recommend a ranked list of outfit composition with interpretable matching scores. Extensive experiments demonstrate that 1) the partitioned embedding have unmingled parts which corresponding to different attributes and 2) outfits recommended by our model are more desirable in comparison with the existing methods.

研究の動機と目的

• ディープラーニングベースのファッションコーディネートシステムにおける解釈性の欠如に対処する。
• デザイナー、企業、消費者が、個々の属性（例：色、形）がコーディネート意思決定にどのように寄与しているかを理解できるようにする。
• 品質スコアを必要としない、生のコーディネートデータから学習する弱教師ありフレームワークを開発する。
• 繰り返しのモデル更新を通じて、進化するファッショントレンドへの動的適応を可能にする。
• ユーザーが指定した属性の好みに基づき、解釈可能な一致スコアを提供する個別化されたファッションコーディネート推薦を実現する。

提案手法

• 衣類アイテムの視覚的特徴を共有埋め込み空間に圧縮するための自己符号化器モジュールを採用する。
• 教師あり属性モジュールを導入し、特定の埋め込み部分ベクトルが事前に定義された属性（例：色、形）に対応することを強制する。
• 敵対的訓練を用いた複数独立モジュールを適用し、各埋め込み部が互いに独立しており、それぞれが指定された属性のみを捕捉するように保証する。
• パーティショニングされた埋め込みを用いてファッションコーディネートグラフを構築し、ノードは属性クラスタを、エッジはアイテムの相性を表す。
• 各属性が全体のコーディネートスコアにどのように寄与しているかを定量化する属性一致マップを構築する。
• 新しいコーディネートデータを用いて構成グラフの再重み付けを行うことで、繰り返しのモデル更新を可能にし、新規トレンドへのリアルタイム適応を実現する。

実験結果

リサーチクエスチョン

• RQ1 異なるファッション属性（例：色、形）を別々の解釈可能なコンponentsに分離するパーティショニング埋め込みを学習できるか？
• RQ2 提案された複数独立制約は、各埋め込み部が1つの属性のみを捕捉することを効果的に保証できるか？
• RQ3 ユーザーが指定した属性に基づき、透明性のある属性レベルの一致スコアを提供する個別化されたファッションコーディネート推薦をモデルが生成できるか？
• RQ4 新しいデータが段階的に追加される際、モデルは進化するファッショントレンドにどの程度適応できるか？
• RQ5 品質スコアを必要としない弱教師ありアプローチ（コーディネートレベルのデータのみ）は、ユーザーの好みと解釈性において、既存手法を上回る性能を示すか？

主な発見

• パーティショニング埋め込みは、色や形といった属性を明確に別々の部分ベクトルに分離しており、t-SNE可視化では色と形のコンponentsが明確なクラスタリングを示している。
• 複数独立制約により、色や形が異なっていても、テクスチャーやスタイルが似たバッグがグループ化されるなど、属性間の漏れが効果的に防止されていることが裏付けられている。
• モデルが生成したコーディネートは、ベースライン手法に比べてユーザーの好みスコアが高く、特に色や形といった属性を指定した際の差が顕著に現れている。
• モデルが提供する属性一致スコアは人間の認識と整合しており、色や形の属性が最終的なコーディネートスコアにより大きな寄与をしていることが示された。
• 繰り返しのモデル更新メカニズムは、2007年から2017年までの年間スタイルのシフトと一貫性を保ちながら、ファッショントレンドを効果的に追跡した。
• モデルは新しいデータにうまく一般化できており、再訓練を実施せずに新しいコーディネートデータセットで構成グラフを更新しても、高い性能を維持している。