[論文レビュー] An Item-Based Collaborative Filtering using Dimensionality Reduction Techniques on Mahout Framework

Dheeraj kumar Bokde, Sheetal Girase+1 more|arXiv (Cornell University)|Mar 23, 2015

Recommender Systems and Techniques参考文献 7被引用数 13

ひとこと要約

本稿では、Apache Mahoutフレームワーク上で特異値分解（SVD）および主成分分析（PCA）を用いた次元削減により、アイテムベースの多基準協調フィルタリング（MC CF）推薦システムを提案する。高次元のユーザ・アイテムレーティング行列を低次元化することで、スパarsity（スパarsity）問題とスケーラビリティの問題を軽減し、大規模データセットにおける予測精度とシステム効率を向上させる。

ABSTRACT

Collaborative Filtering is the most widely used prediction technique in Recommendation System. Most of the current CF recommender systems maintains single criteria user rating in user item matrix. However, recent studies indicate that recommender system depending on multi criteria can improve prediction and accuracy levels of recommendation by considering the user preferences in multi aspects of items. This gives birth to Multi Criteria Collaborative Filtering. In MC CF users provide the rating on multiple aspects of an item in new dimensions,thereby increasing the size of rating matrix, sparsity and scalability problem. Appropriate dimensionality reduction techniques are thus needed to take care of these challenges to reduce the dimension of user item rating matrix to improve the prediction accuracy and efficiency of CF recommender system. The process of dimensionality reduction maps the high dimensional input space into lower dimensional space. Thus, the objective of this paper is to propose an efficient MC CF algorithm using dimensionality reduction technique to improve the recommendation quality and prediction accuracy. Dimensionality reduction techniques such as Singular Value Decomposition and Principal Component Analysis are used to solve the scalability and alleviate the sparsity problems in overall rating. The proposed MC CF approach will be implemented using Apache Mahout, which allows processing of massive dataset stored in distributed/non-distributed file system.

研究の動機と目的

• 多基準協調フィルタリング（MC CF）システムにおける、多面的ユーザレーティングに起因する次元の増加に起因するスケーラビリティおよびスパarsity問題を解決すること。
• ユーザ・アイテムレーティング行列の次元削減により、推薦品質および予測精度を向上させること。
• 分散データ処理を想定したApache Mahoutフレームワーク内での次元削減技術を活用した効率的なMC CFアルゴリズムの実装。
• SVDおよびPCAの性能向上効果を、高次元かつスパースなレーティング行列下で評価すること。

提案手法

• 提案手法は、複数の基準にわたるユーザレーティングに基づいてアイテム間の類似度を計算するアイテムベース協調フィルタリングを用いる。
• 高次元レーティング行列を低次元の潜在空間に射影するために特異値分解（SVD）を用いた次元削減を実施する。
• 主成分分析（PCA）を併用し、ユーザ・アイテムレーティングパターンの最大分散を捉える主要な成分を同定・保持する。
• 低次元化された行列を用いてアイテム同士の類似度を計算し、より効率的な推薦を生成する。
• Hadoop互換ファイルシステムに格納された大規模データセットを処理できるよう、Apache Mahoutの分散コンピューティング機能を活用する。
• 複数のアイテム側面にわたるユーザレーティングを処理し、主要な好みのシグナルを保持したコンパクトな表現に変換する。

実験結果

リサーチクエスチョン

• RQ1 SVDおよびPCAによる次元削減は、アイテムベース多基準協調フィルタリングの予測精度にどのように影響するか？
• RQ2 多面的ユーザ・アイテムレーティング行列の次元削減は、CFシステムにおけるスパarsityおよびスケーラビリティ問題を軽減できるか？
• RQ3 分散データ上でSVDおよびPCAを用いたアイテムベースMC CFフレームワークを適用した場合、推薦品質にどの程度の性能向上が得られるか？
• RQ4 Apache Mahoutフレームワークは、次元削減済みMC CFアルゴリズムのスケーラブルな実装をどの程度効果的に支援できるか？
• RQ5 多基準推薦システムにおいて、次元削減と情報損失の間にはどのようなトレードオフが存在するか？

主な発見

• SVDおよびPCAの適用により、ユーザ・アイテムレーティング行列の次元が顕著に低減され、計算効率が向上した。
• 主な潜在要因に注目することで、多基準協調フィルタリングにおけるスパarsity問題が効果的に軽減された。
• 低次元化された行列から生成されたアイテムベース推薦は、高次元データにおけるベースライン手法と比較して、より高い予測精度を示した。
• Apache Mahoutとの統合により、大規模データセットのスケーラブルな処理が可能となり、実世界での導入を支援した。
• 次元削減とアイテムベースフィルタリングの組み合わせにより、ストレージおよび処理のオーバーヘッドを削減しながらも、高い推薦品質を維持した。