[論文レビュー] Embedded Collaborative Filtering for "Cold Start" Prediction

Yubo Zhou, Ali Nadaf|arXiv (Cornell University)|Apr 9, 2017

Recommender Systems and Techniques参考文献 9被引用数 3

ひとこと要約

本稿では、implicitなユーザ・アイテム相互作用データに対する次元削減にWord2Vec（特にSkip-gramとCBOW）を活用するハイブリッド手法である埋め込み協調フィルタリング（ECF）を提案する。短期間のユーザセッションからアイテムの密な分散表現を学習することで、ユーザの相互作用履歴が限られる『コールドスタート』状況における推薦性能を向上させる。ECFは、ユーザの履歴が少ない状況でも、従来の協調フィルタリングおよび最先端の手法を上回るトップ-1およびトップ-5推薦の精度を達成する。

ABSTRACT

Using only implicit data, many recommender systems fail in general to provide a precise set of recommendations to users with limited interaction history. This issue is regarded as the "Cold Start" problem and is typically resolved by switching to content-based approaches where extra costly information is required. In this paper, we use a dimensionality reduction algorithm, Word2Vec (W2V), originally applied in Natural Language Processing problems under the framework of Collaborative Filtering (CF) to tackle the "Cold Start" problem using only implicit data. This combined method is named Embedded Collaborative Filtering (ECF). An experiment is conducted to determine the performance of ECF on two different implicit data sets. We show that the ECF approach outperforms other popular and state-of-the-art approaches in "Cold Start" scenarios.

研究の動機と目的

• ユーザの相互作用履歴が非常に少ない状況におけるレコメンデーションシステムにおける『コールドスタート』問題に対処すること。
• ユーザやアイテムのメタデータなどの補助情報が不要な、implicitフィードバックデータのみを用いて推薦精度を向上させること。
• 協調フィルタリングフレームワーク内に分散表現学習（Word2Vec）を統合し、スパースな相互作用からユーザの好みをモデル化する手法を開発すること。
• 提案手法を『コールドスタート』および非『コールドスタート』状況の両方で、最先端の手法と比較して評価すること。

提案手法

• 各ユーザセッションを『文』とみなして、Word2Vec（Skip-gramおよびCBOW）を用いてアイテムの低次元密埋め込みを学習する。
• 負例サンプリングと確率的勾配降下法を用いて、ユーザセッション内での共起アイテムの尤度を最大化するようにアイテム埋め込みを学習する。
• 学習されたアイテム埋め込みを用いてコサイン類似度によりアイテム同士の類似度を計算し、協調フィルタリングによる推薦を実現する。
• 短時間（ウィンドウサイズ5）と長時間（ウィンドウサイズ20）のモデルをハイブリッド化し、重み付き平均を用いて安定性を向上させる。
• 埋め込みアイテムベクトルから得られる類似度スコアに基づいて、類似度が最も高いk個の近隣アイテムを特定し、推薦を生成する。
• 2つの公開データセットを用い、データスパarsityの異なる状況下で、precision@1およびprecision@5の指標を用いて評価を行う。

実験結果

リサーチクエスチョン

• RQ1 Word2Vecに基づくアイテム埋め込みは、implicitフィードバックのみを用いた『コールドスタート』状況における協調フィルタリング性能を向上させることができるか？
• RQ2 データスパarsityが高い状況下で、ECFの性能は従来のItem-Item KNNおよび他の最先端手法と比べてどうなるか？
• RQ3 短期間と長期のユーザセッションモデルを組み合わせることで、単一モデルアプローチに比べて推薦精度が向上するか？
• RQ4 implicitフィードバックに基づく推薦の文脈において、Skip-gramとCBOWのどちらのWord2Vecバージョンがより優れた性能を示すか？
• RQ5 ユーザセッション内での隠し（未確認）アイテムの割合が、ECFおよびベースライン手法の精度にどのように影響するか？

主な発見

• ECFは、特に90％または95％のアイテムが隠されている状況において、従来のItem-Item KNNおよび他の最先端手法を上回り、『コールドスタート』状況におけるprecision@1およびprecision@5の両方で優れた性能を示した。
• MovieLens 100kデータセットでは、Skip-gramを用いたECFが90％の隠し率でprecision@1が0.436を達成し、CF（0.316）およびCDAE（0.379）を上回った。
• 短期間および長期のユーザセッション埋め込みを組み合わせたハイブリッドモデルが最も高い精度を記録し、多スケールモデリングが安定性を向上させることを示した。
• 両方のデータセットおよびすべての隠し率において、Skip-gramがCBOWを常に上回った。これは、順序付きアイテムパターンの表現学習において優れた能力を示している。
• 隠しアイテムの割合が高くなるほど精度が向上した。これは、ECFが相互作用履歴が極めて限られたユーザに対して特に効果的であることを示している。
• 『コールドスタート』でない状況では、従来のCFおよびCDAE手法がECFを上回った。これは、ECFの利点が主にデータが少ない環境で顕著に現れることを確認している。