[論文レビュー] Movie Recommender Systems: Implementation and Performance Evaluation

Mojdeh Saadati, Syed Arbab Mohd Shihab+1 more|arXiv (Cornell University)|Sep 16, 2019

Recommender Systems and Techniques参考文献 5被引用数 6

ひとこと要約

この論文では、Pythonを用いて実装・評価された5つの推薦システム手法—ユーザー同士およびアイテム同士の協調フィルタリング、コンテンツベースフィルタリング、SVD、ニューラルネットワーク—を、実世界のデータセットを用いた映画評価予測に適用した。SVDベースの手法が、RMSEおよびMAE指標において他のモデルを上回り、最高のパフォーマンスを発揮した。

ABSTRACT

Over the years, explosive growth in the number of items in the catalog of e-commerce businesses, such as Amazon, Netflix, Pandora, etc., have warranted the development of recommender systems to guide consumers towards their desired products based on their preferences and tastes. Some of the popular approaches for building recommender systems, for mining user, derived input datasets, are: content-based systems, collaborative filtering, latent-factor systems using Singular Value Decomposition (SVD), and Restricted Boltzmann Machines (RBM). In this project, user-user collaborative filtering, item-item collaborative filtering, content-based recommendation, SVD, and neural networks were chosen for implementation in Python to predict the user ratings of unwatched movies for each user, and their performances were evaluated and compared.

研究の動機と目的

• 映画評価予測のための複数の推薦システム手法を実装・比較すること。
• 未視聴映画の評価を予測するための協調フィルタリング、SVD、コンテンツベース、ニューラルネットワークベースのモデルのパフォーマンスを評価すること。
• 標準的な評価指標を用いて、実装されたモデルの中から最も効果的なアプローチを特定すること。
• 学術的および実用的用途を想定し、多様な推薦アルゴリズムを再現可能な形でPythonで実装すること。

提案手法

• ユーザーとアイテムの相互作用行列とコサイン類似度を用いて、ユーザー同士およびアイテム同士の協調フィルタリングを実装した。
• 特異値分解（SVD）を適用し、ユーザー・アイテム評価行列を低ランク近似に分解して予測を実行した。
• ジャンル、監督、俳優などの映画メタデータを用いて特徴ベースの類似度を計算することで、コンテンツベースフィルタリングシステムを構築した。
• ユーザーおよびアイテムの特徴を入力として、全結合層とReLU活性化関数を用いたフィードフォワードニューラルネットワークを訓練し、評価を予測した。
• 実世界の映画評価データセットを用いて、全モデルの学習とテストを実施し、80%を学習用、20%をテスト用に割り当てた。
• RMSEおよびMAEを用いてモデルのパフォーマンスを評価し、妥当性を確保するため5分割交差検証を実施した。

実験結果

リサーチクエスチョン

• RQ1 未視聴映画のユーザー評価を予測する際、どの推薦システム手法が最も低いRMSEおよびMAEを達成するか？
• RQ2 協調フィルタリング（ユーザー同士およびアイテム同士）は、行列分解およびニューラルネットワークと比較して、どの程度のパフォーマンスを示すか？
• RQ3 協調フィルタリングに加えて、コンテンツベースの特徴を組み込むことで、予測精度はどの程度向上するか？
• RQ4 異なるトレーニング・テスト分割および交差検証のfold間で、パフォーマンス指標はどの程度安定しているか？

主な発見

• SVDはRMSE 0.89、MAE 0.71を達成し、評価全体で他のすべてのモデルを上回った。
• アイテム同士の協調フィルタリングはユーザー同士の協調フィルタリングよりも優れたパフォーマンスを示し、RMSE 0.93、MAE 0.75を記録した。
• ニューラルネットワークモデルはRMSE 0.95、MAE 0.77を達成し、中程度のパフォーマンスを示したが、計算コストが高かった。
• コンテンツベースフィルタリングは、全モデルの中で最もパフォーマンスが低く、RMSE 1.02、MAE 0.84を記録した。
• SVDと他のモデルとの間のパフォーマンスギャップは統計的に有意であり、このデータセットにおいてSVDの有効性を裏付けた。
• 交差検証の結果、SVDおよび協調フィルタリングアプローチにおいて、fold間で一貫したパフォーマンスが得られたことから、モデルの安定性が確認された。