[論文レビュー] Deep Item-based Collaborative Filtering for Sparse Implicit Feedback

Daniel Galron, Yuri M. Brovman+3 more|arXiv (Cornell University)|Dec 26, 2018

Recommender Systems and Techniques参考文献 2被引用数 5

ひとこと要約

本論文は、スパースな暗黙的フィードバックに対して深層学習ベースのアイテムベース協調フィルタリング手法を提案し、ユーザーの相互作用ベクトル間のコサイン類似度に収束する類似度目的関数を最適化する。eBayの変動が激しくスパースなデータセット上で評価された結果、従来のアイテムベースCFよりもオフライン指標およびA/Bテストで優れた性能を示し、極めてスパースなデータ環境下でも推薦品質の向上を実証した。

ABSTRACT

Recommender systems are ubiquitous in the domain of e-commerce, used to improve the user experience and to market inventory, thereby increasing revenue for the site. Techniques such as item-based collaborative filtering are used to model users' behavioral interactions with items and make recommendations from items that have similar behavioral patterns. However, there are challenges when applying these techniques on extremely sparse and volatile datasets. On some e-commerce sites, such as eBay, the volatile inventory and minimal structured information about items make it very difficult to aggregate user interactions with an item. In this work, we describe a novel deep learning-based method to address the challenges. We propose an objective function that optimizes a similarity measure between binary implicit feedback vectors between two items. We demonstrate formally and empirically that a model trained to optimize this function estimates the log of the cosine similarity between the feedback vectors. We also propose a neural network architecture optimized on this objective. We present the results of experiments comparing the output of the neural network with traditional item-based collaborative filtering models on an implicit-feedback dataset, as well as results of experiments comparing different neural network architectures on user purchase behavior on eBay. Finally, we discuss the results of an A/B test that show marked improvement of the proposed technique over eBay's existing collaborative filtering recommender system.

研究の動機と目的

• eBayのような高在庫回転率で構造化されたアイテムメタデータが限られるプラットフォームにおいて、ユーザー・アイテム相互作用データが極めてスパースで変動が激しい状況における課題に対処すること。
• ユーザーのフィードバックが極めてスパースな状況下でも、従来のアイテムベース協調フィルタリングの限界を克服し、アイテムの類似度を効果的にモデル化できる深層学習手法を開発すること。
• 暗黙的フィードバックベクトル間のコサイン類似度を直接推定するニューラルネットワークの目的関数を最適化することで、低データ環境下でのより良い表現学習を可能にすること。
• オフライン評価とオンラインA/Bテストを通じた実証的検証により、既存のプロダクション推奨システムよりも測定可能な改善を示すこと。

提案手法

• 本手法は、2つのアイテムのバイナリーダムプフィードバックベクトル間のコサイン類似度の対数を最適化する、新しい目的関数を導入する。
• モデルはユーザーの相互作用パターンに基づいてアイテムペア間の類似度を予測するように学習され、損失関数が正式にコサイン類似度の対数に収束することを示している。
• 2タワー型のニューラルネットワークアーキテクチャを採用し、各アイテムの埋め込みはそのユーザー相互作用ベクトルから独立して学習され、類似度はドット積によって計算される。
• アイテム特徴（例：タイトル、メタデータ）はトークン列として処理され、事前に密度ベクトルに埋め込まれた後、アイテム同士の類似度が計算される。
• スケーラビリティと効率性を高めるために、大規模なスパースデータ上で効率的に学習できるよう、確率的勾配降下法とネガティブサンプリングを用いて最適化されている。
• 本手法はスケーラブルで効率的であり、高速なアイテムリストインポートが続く生産環境におけるリアルタイム推論に適している。

実験結果

リサーチクエスチョン

• RQ1 極めてスパースな暗黙的フィードバックデータ（例：変動が激しいECプラットフォームで見られるもの）から、深層学習モデルが効果的にアイテム表現を学習できるか。
• RQ2 コサイン類似度に収束する類似度目的関数を最適化することで、従来のアイテムベース協調フィルタリングと比較して、より良い推薦パフォーマンスが得られるか。
• RQ3 明示的なラベルや豊富なメタデータがなくても、学習された埋め込みが意味的なアイテム関係を捉えられるか。
• RQ4 実世界のオンラインA/Bテストにおいて、本手法は既存のプロダクション推奨システムと比較してどのように評価されるか。

主な発見

• 提案された目的関数が、暗黙的フィードバックベクトル間のコサイン類似度の対数に収束することを形式的に証明しており、本手法に強い理論的基盤を提供している。
• eBayの暗黙的フィードバックデータセットにおけるオフライン評価では、本深層学習モデルが従来のアイテムベースCFを上回り、特にリCALLとプレシジョン指標で優れた結果を示した。
• オンラインA/Bテストでは、ユーザーのエンゲージメントやコンversions率といった重要なビジネス指標で、統計的に有意な向上が確認され、eBayの既存の協調フィルタリングシステムを上回った。
• 学習されたアイテム埋め込みは意味的な関係を捉えており、共通のトークンが極めて少ない状況下でも、類似したテーマ（例：スポーツメモラビリア、スマホケース）を持つアイテムが埋め込み空間で近接していることが確認された。
• 本モデルはデータスパarsityに強く、非常に少ないユーザー相互作用を持つアイテムに対しても効果的に推薦を行うことができ、新規または1件のみの在庫のアイテムに対するコールドスタート問題を緩和した。
• 埋め込み距離の定性的な分析から、モデルがカテゴリーやテーマごとにアイテムをグループ化する能力を学習していることが明らかになった。例えば、スポーツと時代ごとにスポーツメモラビリアや記念品がグループ化されていた。