[論文レビュー] Evaluation of recommender systems in streaming environments

João Vinagre, Alí­pio Jorge+1 more|arXiv (Cornell University)|Jan 1, 2014

Recommender Systems and Techniques参考文献 25被引用数 30

ひとこと要約

本稿では、ストリーミングデータ環境におけるレコメンデーションシステムのための逐次的評価プロトコルを提案し、時間経過に伴うアルゴリズムの正確性の継続的モニタリングとスライディングウィンドウを用いた統計的有意性の検定を可能にする。この手法により、バッチ評価では見えない動的なパフォーマンスの変化が明らかとなり、4つの実世界データセットにおいてISGDがBPRMFおよびUserKNNを上回るrecall@10を達成しながらも、低い更新遅延を維持している。

ABSTRACT

Evaluation of recommender systems is typically done with finite datasets. This means that conventional evaluation methodologies are only applicable in offline experiments, where data and models are stationary. However, in real world systems, user feedback is continuously generated, at unpredictable rates. Given this setting, one important issue is how to evaluate algorithms in such a streaming data environment. In this paper we propose a prequential evaluation protocol for recommender systems, suitable for streaming data environments, but also applicable in stationary settings. Using this protocol we are able to monitor the evolution of algorithms' accuracy over time. Furthermore, we are able to perform reliable comparative assessments of algorithms by computing significance tests over a sliding window. We argue that besides being suitable for streaming data, prequential evaluation allows the detection of phenomena that would otherwise remain unnoticed in the evaluation of both offline and online recommender systems.

研究の動機と目的

• 非定常的で現実世界のレコメンデーションシステム環境において、従来のバッチ評価の限界を解決すること。
• ユーザーのフィードバックが継続的かつ予測不能に到着するストリーミングデータに適した、逐次的評価フレームワークを提案すること。
• 時間経過に伴うアルゴリズムの正確性の進化を継続的にモニタリングし、動的なパフォーマンスの変化を捉えること。
• スライディングウィンドウを用いた統計的有意性の検定（例：符号付きMcNemar検定）を統合し、信頼性のあるアルゴリズム比較を可能にすること。
• 標準的なオフライン平均では隠れてしまう現象（例：パフォーマンスの乖離）を同定できる能力を、本手法が有するという証明を行うこと。

提案手法

• 各データポイントを逐次処理する逐次的評価プロトコルを採用：過去のデータでモデルを学習し、その後、現在のデータポイントでテストした後、更新する。
• スライディングウィンドウを用いた移動平均を用いて、時間経過に伴う正確性指標（例：recall@10）の滑らかさを保ちながら可視化する。
• スライディングウィンドウを用いた符号付きMcNemar検定を適用し、アルゴリズム間のパフォーマンス差の統計的有意性を評価する。
• 実世界のストリーミングデータセットを用いて、3つのインクリメンタルレコメンデーションアルゴリズム（ISGD、BPRMF、UserKNN）を評価する。
• データの事前処理を必要とせずに、正確性、新規性、多様性を含む複数の評価次元のオンライン統計を維持する。
• 自然な時系列順序（例：MovieLens-1M、Lastfm-600k）を持つデータセットを用い、時間的意味の保持とシャッフルによるアーチファクトの回避を図る。

実験結果

リサーチクエスチョン

• RQ1 レコメンデーションシステムの評価は、継続的で非定常なデータストリームにどう適合させることができるか？
• RQ2 バッチ評価法によって隠蔽されるが、継続的かつ時間に依存するモニタリングによって明らかになるパフォーマンスのダイナミクスとは何か？
• RQ3 スライディングウィンドウを用いた統計的有意性の検定は、ストリーミング環境におけるアルゴリズム比較に効果的に適用可能か？
• RQ4 実世界のストリーミングデータにおいて、ISGD、BPRMF、UserKNNといったインクリメンタルアルゴリズムの正確性は、時間経過とともにどのように変化するか？
• RQ5 全体の平均を超えて、正確性のトレンドと有意性検定を追跡することで、モデル行動に関するどのようなインサイトが得られるか？

主な発見

• 逐次的評価プロトコルにより、時間経過に伴うアルゴリズムの正確性の進化を継続的にモニタリングでき、バッチ平均では見えないパフォーマンスのトレンドが明らかになった。
• Music-playlistデータセットにおいて、ISGDは最高のrecall@10（0.171）を達成し、BPRMF（0.020）およびUserKNN（0.132）を顕著に上回り、更新時間も低く（0.949 ms）維持された。
• MovieLens-1Mデータセットでは、UserKNNが平均recall@10で最高（0.110）であったが、ISGDは更新時間が短く（0.016 ms）かつ時間経過に伴うパフォーマンスの安定性に優れていた。
• スライディングウィンドウを用いた符号付きMcNemar検定により、移動平均プロットで観察されたパフォーマンス差の多くが1%水準で統計的に有意であることが確認された。
• Music-playlistデータセットにおいて、ISGDとUserKNNのパフォーマンスの乖離は、時系列モニタリングがなければ明らかにならなかった。両者の全体平均は類似していたためである。
• 本手法は、バッチ評価では希釈されるため見えにくくなる現象（例：モデルドリフト、初期のパフォーマンスの急上昇）を効果的に検出できる。