[論文レビュー] Automatic Spatially-aware Fashion Concept Discovery

Xintong Han, Zuxuan Wu+6 more|arXiv (Cornell University)|Aug 3, 2017

Advanced Image and Video Retrieval Techniques参考文献 26被引用数 36

ひとこと要約

本稿では、微調整された畳み込みニューラルネットワーク（CNN）からの空間的活性化マップと意味的単語埋め込みを統合することで、スリーブタイプやドレスの長さなどの意味のある概念（例：スリーブタイプ、ドレス長さ）に属性をクラスタリングする、自動的かつ空間的認識を持つファッションコンセプト発見手法を提案する。このアプローチにより属性フィードバック付きのリtrieval性能が向上し、コンセプト固有の部分空間埋め込みを学習することで構造的な製品ブラウジングが可能となり、Fashion200Kデータセットにおいて最先端の性能を達成した。

ABSTRACT

This paper proposes an automatic spatially-aware concept discovery approach using weakly labeled image-text data from shopping websites. We first fine-tune GoogleNet by jointly modeling clothing images and their corresponding descriptions in a visual-semantic embedding space. Then, for each attribute (word), we generate its spatially-aware representation by combining its semantic word vector representation with its spatial representation derived from the convolutional maps of the fine-tuned network. The resulting spatially-aware representations are further used to cluster attributes into multiple groups to form spatially-aware concepts (e.g., the neckline concept might consist of attributes like v-neck, round-neck, etc). Finally, we decompose the visual-semantic embedding space into multiple concept-specific subspaces, which facilitates structured browsing and attribute-feedback product retrieval by exploiting multimodal linguistic regularities. We conducted extensive experiments on our newly collected Fashion200K dataset, and results on clustering quality evaluation and attribute-feedback product retrieval task demonstrate the effectiveness of our automatically discovered spatially-aware concepts.

研究の動機と目的

• オンラインショッピングにおける低レベルの視覚的特徴と高レベルのファッション属性の間の意味的ギャップを解消すること。
• 手動でのアノテーションなしに、弱教師ありの画像・テキストペアから空間的認識を持つファッションコンセプトを自動で発見すること。
• 学習された埋め込み空間におけるマルチモーダル言語的規則性を活用することで、属性フィードバック付きの製品検索を改善すること。
• コンセプト固有の部分空間埋め込みを用いて、ファッション製品の構造的なブラウジングを可能にすること。

提案手法

• 衣類の画像と製品説明を用いて、エンドツーエンドにGoogleNetを微調整し、視覚的・意味的埋め込み空間を学習する。
• グローバル平均プーリング（GAP）特徴から属性活性化マップ（AAMs）を生成し、属性が最も活性化される空間的位置を捉える。
• Word2Vecから得られる意味的単語ベクトルと空間的AAMsを統合して、空間的認識を持つ属性表現を形成する。
• k-meansや類似のクラスタリング手法を用いて、空間的認識を持つ属性表現をコンセプトグループ（例：ネックライン、スリーブタイプ）にクラスタリングする。
• 個々のコンセプトに基づいて画像を埋め込むことのできるコンセプト固有の部分空間ネットワークを訓練する。これにより、構造的な探索が可能になる。
• 視覚的・意味的空間におけるマルチモーダル言語的規則性を活用して、検索時に属性を暗黙的に削除または修正する。

実験結果

リサーチクエスチョン

• RQ1 空間的認識を持つ属性表現は、意味のあるコンセプトにファッション属性をクラスタリングする上で改善をもたらすか？
• RQ2 意味的情報と空間的情報を統合することで、単に意味的または視覚的情報のみを用いる場合と比較して、属性フィードバック付きの製品検索性能がどのように向上するか？
• RQ3 コンセプト固有の部分空間埋め込みは、ファッション製品の効果的な構造的ブラウジングを可能にするか？
• RQ4 提案手法は、空間的ヒントが異なる多様なファッションカテゴリに一般化可能か？

主な発見

• 提案手法は、すべての5つのファッションカテゴリ（トップス、ドレス、ジャケット、パンツ、スカート）において最高のリtrieval精度を達成しており、特にスリーブ長やカラーバックの形状といった強い空間的属性を持つカテゴリで顕著な優位性を示した。
• コンセプト発見において、意味的表現と空間的情報を統合することで、単に単語ベクトル（Word2vec）のみ、または単に活性化マップ（AAMs）のみを用いる場合よりも優れた性能が得られた。
• コンセプト発見なしのベースラインVSEモデルと比較して、著しく優れた性能を示しており、構造的なコンセプト学習の価値を実証した。
• ドレス長さや色といったコンセプトのための部分空間埋め込みにより、類似するアイテムがまとまってクラスタリングされる連続的で解釈可能な可視化が可能となり、直感的なブラウジングが可能になった。
• システムは自動的に否定的属性（例：「スリーブレス」が「ロングスリーブ」を求める場合）を検出でき、明示的なユーザー入力なしに検索の正確性が向上した。
• パンツは空間的ヒントが弱いことから、性能向上は限定的であった。これは、空間的情報が属性が空間的に局在化されている場合に最も効果的であることを確認した。