[論文レビュー] From Word Embeddings to Item Recommendation

Makbule Gülçin Özsoy|arXiv (Cornell University)|Jan 7, 2016

Recommender Systems and Techniques参考文献 27被引用数 52

ひとこと要約

本稿では、場所ベースのソーシャルネットワークにおけるユーザーチェックイン履歴から、Word2VecのスキップグラムおよびCBOW手法を応用し、場所の高次元ベクトル表現を学習する手法を提案する。これにより、次回の場所推薦が効果的に行える。この手法は、特にKNI（スキップグラム）バージョンにおいて競争力ある性能を示し、Foursquareデータセット上で、既存の推薦手法と同等またはそれを上回る性能を発揮した。非テキスト的で順序的なデータ（チェックイン）を自然言語処理技術を用いて効果的にモデル化できることが示された。

ABSTRACT

Social network platforms can use the data produced by their users to serve them better. One of the services these platforms provide is recommendation service. Recommendation systems can predict the future preferences of users using their past preferences. In the recommendation systems literature there are various techniques, such as neighborhood based methods, machine-learning based methods and matrix-factorization based methods. In this work, a set of well known methods from natural language processing domain, namely Word2Vec, is applied to recommendation systems domain. Unlike previous works that use Word2Vec for recommendation, this work uses non-textual features, the check-ins, and it recommends venues to visit/check-in to the target users. For the experiments, a Foursquare check-in dataset is used. The results show that use of continuous vector space representations of items modeled by techniques of Word2Vec is promising for making recommendations.

研究の動機と目的

• 自然言語処理の技術、特にWord2Vecが、非テキスト的ユーザーアクティビティデータに効果的に適用可能かどうかを検討すること。
• 実世界のFoursquareチェックインデータセットを用いて、次回の場所推薦におけるWord2Vecベースの手法の性能を評価すること。
• 精度、NDCG、ヒット率、カバレッジの観点から、提案手法のWord2Vecベースのアプローチを、既存の協調フィルタリングおよび行列分解手法と比較すること。
• ユーザーチェックイン履歴から連続的ベクトル表現を学習することで、従来の推薦手法と同等のユーザープレファレンスの捉え方が可能かどうかを検証すること。
• 順序的な行動データ（チェックイン）が、埋め込みベースの推薦において、テキストシーケンスと同様に扱えるかどうかを示すこと。

提案手法

• 本稿では、各チェックインをユーザ行動の「文」における「語」として扱い、ユーザーチェックインのシーケンスにWord2VecのスキップグラムおよびCBOWモデルを適用する。
• 3つのバリエーションを提案する：KNI（Word2Vecを用いた知識ベースのアイテム類似度）、KIU（Word2Vecを用いた知識ベースのユーザ類似度）、NN（Word2Vecのアイテム表現を用いた近隣ベース）。
• スキップグラムおよびCBOWを用いて、類似する場所がベクトル空間内で近接するように、場所の低次元密集表現を学習する。
• 最近のユーザーチェックインと類似度が最も高い場所を、学習済み埋め込み空間におけるコサイン類似度を用いて特定することで、推薦を生成する。
• アイテム埋め込みとユーザ-アイテム相互作用パターンを活用することで、コンテンツベースおよび協調フィルタリングの要素を組み合わせたアプローチを採用する。
• 評価はFoursquareチェックインデータセットを用い、精度、NDCG、ヒット率、予測カバレッジの指標で実施する。

実験結果

リサーチクエスチョン

• RQ1 非テキスト的ユーザーチェックインシーケンスに学習させたWord2Vec技術が、効果的な場所推薦を可能にするか？
• RQ2 Word2Vecベースの推薦の性能は、既存の協調フィルタリングおよび行列分解手法と比べてどうか？
• RQ3 スキップグラムとCBOWのどちらのWord2Vecバリエーションが、より高い推薦精度とカバレッジを達成するか？
• RQ4 Word2Vec埋め込みとコンテンツベースまたは協調フィルタリング戦略を組み合わせることで、推薦性能が向上するか？
• RQ5 Word2Vecベースの手法は、スパースまたはユニークなチェックイン履歴を持つユーザに対しても、どの程度一般化可能か？

主な発見

• KNI（スキップグラム）が最高の精度（0.119）、NDCG（0.169）、ヒット率（0.618）を記録し、大多数のベースライン手法を上回った。
• スキップグラムモデルは、すべての指標でCBOWを一貫して上回り、チェックインデータの順序的依存関係をより効果的にモデル化していることが示された。
• NN（スキップグラム）は性能が低かった（精度：0.070）、これは、単にアイテム埋め込みのみを用いた近隣ベースの推薦が、知識ベースのアプローチに比べて劣っていることを示唆している。
• 提案手法は100％の予測カバレッジを達成し、Gao-H（95.2％）やGao-SH（99.2％）といった手法が一部のユーザに対して推薦を実行できなかったのと比べ、顕著に優れていた。
• Word2Vecベースの手法は、SVD、CCD++、CF-Cと同等またはそれ以上の性能を示し、最先端技術と同等の競争力を持つことが実証された。
• 結果から、チェックイン行動の順序的特徴をWord2Vecで学習することは、特にスパースデータ環境下において、従来の協調フィルタリングの代替として有望であることが示された。