[論文レビュー] A Multimodal Recommender System for Large-scale Assortment Generation in E-commerce

Murium Iqbal, Adair Kovac+1 more|arXiv (Cornell University)|Jun 28, 2018

Image Retrieval and Classification Techniques参考文献 23被引用数 6

ひとこと要約

本稿では、ResNet-50 からの深層視覚特徴と PolyLDA を用いたテキスト属性を統合することで、eコマース向けに一貫性があり視覚的に整合性のある家具アレンジメントを生成するマルチモーダルレコメンデーションシステムを提案する。視覚のみのモデルと比較して、アレンジメントの多様性とスタイルの整合性が向上し、オンライン A/B テストでは両モダリティを組み合わせた場合にユーザーの関与度が向上した。

ABSTRACT

E-commerce platforms surface interesting products largely through product recommendations that capture users' styles and aesthetic preferences. Curating recommendations as a complete complementary set, or assortment, is critical for a successful e-commerce experience, especially for product categories such as furniture, where items are selected together with the overall theme, style or ambiance of a space in mind. In this paper, we propose two visually-aware recommender systems that can automatically curate an assortment of living room furniture around a couple of pre-selected seed pieces for the room. The first system aims to maximize the visual-based style compatibility of the entire selection by making use of transfer learning and topic modeling. The second system extends the first by incorporating text data and applying polylingual topic modeling to infer style over both modalities. We review the production pipeline for surfacing these visually-aware recommender systems and compare them through offline validations and large-scale online A/B tests on Overstock. Our experimental results show that complimentary style is best discovered over product sets when both visual and textual data are incorporated.

研究の動機と目的

• 高配慮製品（リビングルーム家具など）のためのスケーラブルで視覚的に整合性のある家具アレンジメントを生成する課題に対処すること。
• 視覚的類似性に過度に依存するため、しばしば重複した非補完的選択を生じる視覚のみのレコメンデーションシステムの限界を克服すること。
• 視覚特徴とテキスト的製品属性を統合することで、セットレコメンデーションにおけるスタイルの整合性と多様性がどのように向上するかを調査すること。
• シードベースのレコメンデーションを活用して、履歴相互作用データが不足する新規ユーザーおよび新製品に対しても対応可能なスケーラブルでプロダクション対応のシステムを構築すること。
• 実世界の eコマースプラットフォーム上で大規模なオンライン A/B テストを実施し、マルチモーダル学習の有効性を検証すること。

提案手法

• 製品画像から事前学習済みの ResNet-50 を用いて転移学習を行い、深層視覚特徴を抽出し、視覚的ワードの袋（bag-of-visual-words）表現を構築する。
• 視覚的特徴活性化の上に Latent Dirichlet Allocation (LDA) を適用し、製品間のスタイル的グルーピングを発見する。
• 制約付きの二次ナップサック問題（QKP）を解くためのグリーディアルゴリズムを用い、予算およびシード制約内でのペアワイズ視覚的整合性を最大化するアイテムを選択する。
• マルチモーダルバージョンでは、視覚的およびテキスト的特徴を統合して共同でモデリングする Polylingual LDA (PolyLDA) を適用し、クロスモーダルなスタイル発見を可能にする。
• 製品タイトル、説明文、タグなどのテキスト的属性を、視覚的特徴と同じ潜在空間に埋め込むことで、共同トピックモデリングを可能にする。
• 最終的なレコメンデーションセットは、シード製品とトピック的に整合性があり、視覚的およびテキスト的空間で最大限に整合性の高いアイテムを選択することで生成される。

実験結果

リサーチクエスチョン

• RQ1 視覚に配慮したレコメンデーションシステムは、視覚のみのシステムと比較して、より一貫性があり多様性に富んだ家具アレンジメントを生成できるか？
• RQ2 製品のテキスト的属性を統合することで、推奨される製品セットの視覚的整合性とスタイル的多様性が向上するか？
• RQ3 PolyLDA を用いた視覚的およびテキスト的特徴の共同モデリングは、単一モーダルなトピックモデリングと比較して、スタイルトレンドをどの程度正確に捉えられるか？
• RQ4 マルチモーダルアプローチは、実世界の eコマース環境においてユーザー関与度をどの程度向上させるか？
• RQ5 履歴相互作用データが不足する新規ユーザーおよび新製品に対しても、本システムは効果的に対応できるか？

主な発見

• マルチモーダルバージョンは、アレンジメントの整合性に関して平均 Jaccard スコアが 0.0027 を達成し、視覚のみのバージョンの 0.0015 より顕著に高い水準に到達した。
• マルチモーダルシステムは最大 Jaccard スコア 0.0362 を記録し、視覚のみのバージョンの 0.0220 を大きく上回り、優れた高整合性セットの生成能力を示した。
• マルチモーダルアレンジメントは最大で 20 のトピックを含む広範なトピック範囲を有していたのに対し、視覚のみのアレンジメントは主に 1〜4 のトピックに限定されており、多様性の向上が裏付けられた。
• LDA よりも PolyLDA がより多様で代表的なトピック分布を生成しており、製品が単一または二つのトピックに支配されるのではなく、複数のトピックの混合としてより適切に表現された。
• 本システムの複数トピックの融合能力により、視覚のみのモデルがしばしば類似した外観のアイテムを推薦するのに対し、より補完的で重複の少ない選択が可能になった。
• オンライン A/B テストの結果、マルチモーダルシステムがユーザー関与度指標を向上させたことが確認され、実世界での展開において視覚的およびテキスト的特徴の共同モデリングが優れていることが裏付けられた。