[論文レビュー] Visual Fashion-Product Search at SK Planet

Taewan Kim, Seyeong Kim+4 more|arXiv (Cornell University)|Sep 26, 2016

Advanced Image and Video Retrieval Techniques参考文献 34被引用数 4

ひとこと要約

本論文では、SK Planetにおける大規模なビジュアルファッション製品検索システムを提示する。このシステムは、学習されたファッション属性、領域関心（ROI）検出、および深層外観および色の特徴を統合することで、類似度検索の精度を向上させる。ファッション属性をLSTMベースのマルチラベルフレームワークを用いて系列分類問題としてモデル化し、属性および視覚的特徴の上にインverted indexを活用することで、高いmAP（IoU=0.5のとき0.877）と競争力のある検索性能を達成。意味的および視覚的ヒントにより、検索の関連性が顕著に向上する。

ABSTRACT

We build a large-scale visual search system which finds similar product images given a fashion item. Defining similarity among arbitrary fashion-products is still remains a challenging problem, even there is no exact ground-truth. To resolve this problem, we define more than 90 fashion-related attributes, and combination of these attributes can represent thousands of unique fashion-styles. The fashion-attributes are one of the ingredients to define semantic similarity among fashion-product images. To build our system at scale, these fashion-attributes are again used to build an inverted indexing scheme. In addition to these fashion-attributes for semantic similarity, we extract colour and appearance features in a region-of-interest (ROI) of a fashion item for visual similarity. By sharing our approach, we expect active discussion on that how to apply current computer vision research into the e-commerce industry.

研究の動機と目的

• 任意のファッション製品間における意味的類似度を定義する課題に取り組むこと。ただし、正解ラベルは存在しない。
• 意味的および視覚的特徴を組み合わせたスケーラブルな大規模ファッションEC向けビジュアル検索システムを構築すること。
• ファッション属性を深層外観および色の特徴と統合することで、検索精度を向上させること。
• 系列モデル（LSTM）を用いたマルチラベルファッション属性分類の応用を検討し、より良い意味的理解を実現すること。
• ガイド付きファッションカテゴリ情報が誤検出を低減し、ROI検出性能を向上させる価値を実証すること。

提案手法

• 19のファッションカテゴリにまたがる90以上の属性を持つ大規模なファッション属性データセットを構築し、各製品に対してROIをアノテートする。
• VGG16のような事前学習モデルの代わりに、ファッション属性認識のためのカスタム画像エンコーダーを採用する。
• マルチラベル分類を系列分類タスクとして扱い、LSTMベースの系列モデルを訓練することで、ファッション属性間の暗黙的な依存関係を学習する。
• インバーテッドインデックス方式をファッション属性および視覚的特徴の上に適用し、大規模な効率的検索を実現する。
• 外観特徴は、事前学習済みGoogleNet（inception4およびinception5層）のROI活性化マップから抽出され、スケーラブルな検索を可能にするためにしきい値処理によりバイナリ化される。
• 色の特徴はHSVヒストグラムのビンを用いて抽出され、重み付き距離計測法を用いて外観特徴と統合され、最終的な類似度スコアに使用される。

実験結果

リサーチクエスチョン

• RQ1 ファッション属性間の依存関係を効果的にモデル化することで、ファッション製品検索におけるマルチラベル分類性能をどのように向上させられるか？
• RQ2 ガイド付きファッションカテゴリ情報は、ROI検出の正確性をどの程度向上させ、誤検出をどの程度低減できるか？
• RQ3 深層ニューラルネットワークの活性化マップに対して単純なしきい値処理を施すことで、スケーラブルなインデキシングを実現しつつ、競争力のある検索性能が得られるか？
• RQ4 意味的属性と視覚的特徴を統合することで、視覚的特徴のみを用いた場合と比較して、検索結果の関連性はどの程度向上するか？
• RQ5 ファッション固有の属性認識において、標準的な事前学習ネットワークと比較して、カスタム画像エンコーダーを使用する影響は何か？

主な発見

• LSTMベースの属性認識モデルは、ファッション属性間の依存関係を効果的に捉え、独立した分類器と比較してマルチラベル分類性能を向上させる。
• ガイド付きファッションカテゴリ情報によりROI検出が顕著に向上し、IoU=0.5のときmAPが0.877（ガイドなしでは0.849）を達成する。
• GoogleNetを用いた外観特徴抽出は、HolidaysベンチマークでmAP 0.783を達成し、UKBでは精度/再現率が0.907/0.908を記録。微調整なしで多数の深層特徴手法を上回る性能を示す。
• 単純なしきい値処理による深層外観特徴のバイナリ化は、HolidaysでmAPをわずか0.02低下に抑え、性能損失を最小限に抑えつつスケーラブルなインデキシングを可能にする。
• ファッション属性と視覚的特徴の統合により、性別、季節、スタイルといったユーザーの意図を捉える検索結果がより関連性の高いものとなる。
• インバーテッドインデックスとハイブリッド視覚的特徴マッチングを組み合わせることで、300万枚の画像データセット上でリアルタイム検索を実現する、高いスケーラビリティと性能を達成する。