[論文レビュー] Algorithmic clothing: hybrid recommendation, from street-style-to-shop

Yu Qian, P.R. Giaccone+3 more|arXiv (Cornell University)|May 26, 2017

Human Pose and Action Recognition参考文献 1被引用数 8

ひとこと要約

本論文では、衣類のセグメンテーションに条件付きランダムフィールド（CRF）を、特徴表現に深層ニューラルネットワークを組み合わせることで、コンテンツベースで双対的なファッション推薦を可能にするハイブリッド視覚推薦システムを提案する。ファッションブログからのストリートスタイル画像をエキスパート知識として活用することで、衣類ペアの共同出現行列を構築し、ユーザーの好みデータが限られている状況でも正確でスケーラブルな推薦が可能になる。実際の検索事例として、トップスとパンツ、コートとスカートといったペアのアイテムが成功裏に検索された。

ABSTRACT

In this paper we detail Cortexica's (https://www.cortexica.com) recommendation framework -- particularly, we describe how a hybrid visual recommender system can be created by combining conditional random fields for segmentation and deep neural networks for object localisation and feature representation. The recommendation system that is built after localisation, segmentation and classification has two properties -- first, it is knowledge based in the sense that it learns pairwise preference/occurrence matrix by utilising knowledge from experts (images from fashion blogs) and second, it is content-based as it utilises a deep learning based framework for learning feature representation. Such a construct is especially useful when there is a scarcity of user preference data, that forms the foundation of many collaborative recommendation algorithms.

研究の動機と目的

• ユーザーの行動データに依存しないことで、ファッション推薦におけるコールドスタート問題を軽減する。
• エキスパートが選別したストリートスタイル画像をオラクルとして用いる、スケーラブルで知識ベースの推薦フレームワークを構築する。
• 視覚的特徴学習を活用して、コンテンツベースのペア衣類推薦（例：トップスとパンツの組み合わせ）を可能にする。
• 共同購入データではなく、現実のファッショントレンドに基づいた、衣類の共起分布を構築する。
• 複数アイテムの推薦をサポートし、季節的・人口統計的トレンドに適応可能な柔軟で実装可能なシステムを構築する。

提案手法

• ファッション固有のセグメンテーションとローカライゼーションタスクに微調整された事前学習済みのVGG-16ネットワークを用いる。
• 完全畳み込みネットワーク（FCN）に続いて条件付きランダムフィールド（CRF）を適用し、正確な衣類インスタンスセグメンテーションを実現する。
• DeepLabにおけるアトラス空間的プール（ASPP）を活用して、マルチスケールのオブジェクトおよび文脈符号化を強化する。
• セグメンテーション済みの衣類から深層ニューラルネットワークを用いて高次元の視覚的特徴を抽出し、コンテンツベースの検索を実現する。
• ストリートスタイル画像から共同出現行列を構築し、視覚的類似性とスタイルトレンドに基づいた好まれる衣類ペアのモデル化を実現する。
• ストリートスタイルの知識ベースを在庫データと統合することで、販売可能な小売業者アイテムに制限された推薦を実現する。

実験結果

リサーチクエスチョン

• RQ1 ユーザー行動データが欠落している状況下でも、効果的に機能するハイブリッド視覚推薦システムはどのように設計できるか？
• RQ2 ストリートスタイル画像は、現実のファッションペアリングをモデル化する上で、信頼できるオラクルとして機能するか？
• RQ3 ディープラーニングに基づく特徴表現は、協調フィルタリングを上回る精度で双対的ファッション推薦を改善できるか？
• RQ4 セグメンテーションと共起モデリングをどのように統合することで、スケーラブルでコンテンツベースの推薦が可能になるか？
• RQ5 ブログを介したリアルタイムのファッショントレンドと共同購入データのどちらが、推薦の関連性に与える影響が大きいのか？

主な発見

• 本システムは、トップスとパンツ、コートとスカートといったペア衣類の推薦に成功しており、共起行列からの共同頻度に基づいて順位付けされている。
• CRFとFCNの統合により、衣類セグメンテーションの正確性が顕著に向上し、特徴抽出における背景ノイズの干渉が低減された。
• ストリートスタイル画像をオラクルとして活用することで、共同購入データよりも現実のファッショントレンドをより正確に捉えることが可能になった。
• クラウドプラットフォーム上でスケーラブルで実装可能であり、GPU加速のディープラーニングを用いたリアルタイム推論をサポートする。
• ハイブリッドアプローチにより、視覚的知識とエキスパート知識に依存することで、ユーザーの好み履歴に依存しないコールドスタート問題の緩和が達成された。
• 本システムは複数アイテムの推薦へ拡張可能であり、ニューラルネットワークベースの関数近似を用いることで、将来的には包括的なワードローブ推薦エンジンへ進化可能である。