[論文レビュー] Combinations of Jaccard with Numerical Measures for Collaborative Filtering Enhancement: Current Work and Future Proposal

Ali A. Amer, Loc Nguyen|arXiv (Cornell University)|Jan 1, 2021

Recommender Systems and Techniques参考文献 29被引用数 5

ひとこと要約

本稿では、レーティングの存在を捉えるジャカード係数と、レーティングの大きさを捉えるコサイン類似度やピアソン積率相関（PCC）といった数値的測度を組み合わせることで、協調フィルタリングの性能を向上させる、新しいハイブリッド類似度測度を提案する。MovieLensデータセット上で評価した結果、個々の類似度測度よりも、組み合わせ測度がすべての主要指標で優れた性能を示し、存在情報と大きさ情報の統合が推薦精度を顕著に向上させることを実証した。

ABSTRACT

Collaborative filtering (CF) is an important approach for recommendation system which is widely used in a great number of aspects of our life, heavily in the online-based commercial systems. One popular algorithms in CF is the K-nearest neighbors (KNN) algorithm, in which the similarity measures are used to determine nearest neighbors of a user, and thus to quantify the dependency degree between the relative user/item pair. Consequently, CF approach is not just sensitive to the similarity measure, yet it is completely contingent on selection of that measure. While Jaccard - as one of those commonly used similarity measures for CF tasks - concerns the existence of ratings, other numerical measures such as cosine and Pearson concern the magnitude of ratings. Particularly speaking, Jaccard is not a dominant measure, but it is long proven to be an important factor to improve any measure. Therefore, in our continuous efforts to find the most effective similarity measures for CF, this research focuses on proposing new similarity measure via combining Jaccard with several numerical measures. The combined measures would take the advantages of both existence and magnitude. Experimental results on, Movie-lens dataset, showed that the combined measures are preeminent outperforming all single measures over the considered evaluation metrics.

研究の動機と目的

• 協調フィルタリングにおける単一類似度測度の限界を克服するため、共にレーティングされたアイテムの存在に注目するジャカード係数と、レーティングの大きさに敏感な数値的測度の両方を統合すること。
• ハイブリッド測度が単独のジャカード、コサイン、ピアソン積率相関（PCC）よりも推薦精度で優れているかどうかを実証的に検証すること。
• データのスパarsityとユーザ/アイテム相関に対処できる、最大90種類の類似度測度を統合した包括的なCFフレームワークの基盤を提供すること。
• CNN、SVM、word2vecといったAI技術を類似度測度と統合することで、協調フィルタリングの性能をさらに向上させることの可能性を探ること。

提案手法

• ジャカードとコサイン類似度、ピアソン積率相関（PCC）を組み合わせることで、コサイン+ジャカードやPCC+ジャカードといったハイブリッド形式の新しい類似度測度を提案する。
• 線形結合アプローチを採用し、最終的な類似度スコアは、ジャカードの集合ベースの重なりと、数値的測度の値ベースの類似性を統合する。
• 提案されたハイブリッド測度を用いてK-近傍法（KNN）を適用し、レーティング予測のための類似ユーザ/アイテムを同定する。
• MovieLensデータセットにおける性能評価に、標準的な指標（MAE、RMSE、精度、再現率、F1）を用いる。
• 将来のフレームワークとして、最大90種類の類似度測度を統合し、CNN、SVM、MNBといったAIモデルを類似度計算と統合する設計を行う。
• word2vec（C-BOWおよびスキップグラム）とセンチメント分析を活用し、類似度モデルにおけるユーザおよびアイテム表現を豊かにする計画である。

実験結果

リサーチクエスチョン

• RQ1 ジャカードと数値的類似度測度（例：コサイン、PCC）を組み合わせることで、単独で使用する場合よりも高い推薦精度が達成可能か？
• RQ2 実世界のデータセットにおいて、MAE、RMSE、精度、F1といった異なる評価指標において、ハイブリッド測度はどのように性能を発揮するか？
• RQ3 ジャカードによるレーティングの存在情報の統合が、スパースデータ環境下での数値的測度のロバストネスをどの程度向上させるか？
• RQ4 90種類以上の類似度測度を統合した包括的な類似度測度フレームワークを、スケーラビリティとデータスパarsityへの適応性を考慮して体系的に開発・評価できるか？

主な発見

• ジャカードとコサインまたはPCCを組み合わせたハイブリッド類似度測度は、MovieLensデータセットにおいて、すべての評価指標で個々の類似度測度を一貫して上回った。
• 提案された組み合わせ測度は、MAE、RMSE、精度、再現率、F1の観点から優れた性能を示し、精度とロバストネスの向上を裏付けた。
• PSSIJやPSSJといった特定の組み合わせは、r=0.1からr=0.6の範囲で精度が向上し、レーティング閾値の変化に対しても良好な一般化性能を示した。
• 本研究では、ジャカードが数値的測度の性能向上に顕著に寄与しており、特にデータスパarsityの処理と予測信頼性の向上において有効であることが確認された。
• 結果から、レーティングの存在と大きさの両方を統合することで、KNNベースの協調フィルタリングにおけるネイバー選択がより効果的になるという仮説が裏付けられた。