[論文レビュー] Toward a New Protocol to Evaluate Recommender Systems

Frank Meyer, Françoise Fessant+2 more|arXiv (Cornell University)|Sep 10, 2012

Recommender Systems and Techniques参考文献 15被引用数 9

ひとこと要約

本論文は、意思決定支援、比較支援、発見支援、探索支援の4つのコアな機能に基づき、レコメンデーションシステムの新しいオフライン評価プロトコルを提案する。平均影響度（AMI）を導入してレコメンデーションの影響を評価し、Netflixデータを用いてユーザーおよびアイテムのセグメントごとに性能に顕著な差が生じることを示した。また、RMSEとレコメンデーション品質の間に明確な相関は認められなかった。

ABSTRACT

In this paper, we propose an approach to analyze the performance and the added value of automatic recommender systems in an industrial context. We show that recommender systems are multifaceted and can be organized around 4 structuring functions: help users to decide, help users to compare, help users to discover, help users to explore. A global off line protocol is then proposed to evaluate recommender systems. This protocol is based on the definition of appropriate evaluation measures for each aforementioned function. The evaluation protocol is discussed from the perspective of the usefulness and trust of the recommendation. A new measure called Average Measure of Impact is introduced. This measure evaluates the impact of the personalized recommendation. We experiment with two classical methods, K-Nearest Neighbors (KNN) and Matrix Factorization (MF), using the well known dataset: Netflix. A segmentation of both users and items is proposed to finely analyze where the algorithms perform well or badly. We show that the performance is strongly dependent on the segments and that there is no clear correlation between the RMSE and the quality of the recommendation.

研究の動機と目的

• 従来の評価指標（例：RMSE）が現実世界のレコメンデーション品質を十分に捉えていないという限界を是正すること。
• 産業現場におけるレコメンデーションシステムの多様な役割を反映する包括的な評価フレームワークを定義すること。
• 個別化されたレコメンデーションの影響を定量化するための新しい指標、平均影響度（AMI）を導入すること。
• ユーザーおよびアイテムのセグメントごとのアルゴリズム性能を分析し、隠れた性能差を解明すること。
• 低RMSEであることが常に実際のレコメンデーション品質が高いと仮定するのを疑問視すること。

提案手法

• レコメンデーションシステムの機能を4つの構造的役割に分類する：意思決定支援、比較支援、発見支援、探索支援。
• 各機能に特化したメトリクスを備えた包括的なオフライン評価プロトコルを設計する。
• 個別化されたレコメンデーションの全体的影響を評価するための新規指標として、平均影響度（AMI）を導入する。
• Netflixデータセットを用いてK-Nearest Neighbors（KNN）およびMatrix Factorization（MF）にプロトコルを適用する。
• ユーザーおよびアイテムのセグメンテーションを実施し、異なるデモグラフィックおよびコンテンツベースのグループ間での性能差を分析する。
• RMSEをベースラインメトリクスとして用いるが、レコメンデーション品質の評価にはそれだけでは不十分であるとみなす。

実験結果

リサーチクエスチョン

• RQ1 RMSEのような従来の指標を超えて、レコメンデーションシステムの評価をどのように改善できるか？
• RQ2 実世界の産業応用におけるレコメンデーションシステムの明確な機能的役割は何か？
• RQ3 レコメンデーションの性能は、異なるユーザーおよびアイテムのセグメント間でどの程度変動するか？
• RQ4 RMSEとユーザーが認識するレコメンデーションの実際の品質の間に強い相関があるか？
• RQ5 平均影響度（AMI）のような新規指標は、個別化されたレコメンデーションの追加価値を効果的に捉えることができるか？

主な発見

• レコメンデーションシステムの性能は、ユーザーおよびアイテムのセグメントごとに顕著に異なることが判明し、全体のRMSEがユーザー層の体験を代表していないことが示された。
• RMSEとレコメンデーション品質の間に明確な相関は認められず、RMSEだけでは現実世界の影響を評価するには不十分であることが示唆された。
• 提案された平均影響度（AMI）は、レコメンデーションの個別化された影響を効果的に定量化でき、より意味のある評価指標を提供した。
• KNNとMFはセグメントごとに異なる強みを示し、特定のユーザーまたはアイテムタイプで常に優れるアルゴリズムは存在しなかった。
• 意思決定、比較、発見、探索の4機能フレームワークは、従来の指標よりも包括的かつ実用的なレコメンデーションシステムの評価視点を提供した。
• セグメンテーションの結果、特定のユーザー層やアイテムは一貫して低品質のレコメンデーションを受けていることが判明し、適応型の評価戦略の必要性が浮き彫りになった。