[論文レビュー] Take a Fresh Look at Recommender Systems from an Evaluation Standpoint

Aixin Sun|arXiv (Cornell University)|Oct 9, 2022

Recommender Systems and Techniques被引用数 4

ひとこと要約

この論文は、推薦システムの一般的な評価手法を批判し、トレーニング/テスト分割においてグローバルタイムラインを無視することで、誤ったベースラインと直感に反する結果が生じると主張している。本稿では、実世界の展開をよりよくシミュレートするためのタイムラインに配慮した評価方式を提案し、時間経過に伴う意思決定の文脈を組み込むことで、モデルの転送性を向上させ、より正確な好みのモデリングを可能にする。

ABSTRACT

Recommendation has become a prominent area of research in the field of Information Retrieval (IR). Evaluation is also a traditional research topic in this community. Motivated by a few counter-intuitive observations reported in recent studies, this perspectives paper takes a fresh look at recommender systems from an evaluation standpoint. Rather than examining metrics like recall, hit rate, or NDCG, or perspectives like novelty and diversity, the key focus here is on how these metrics are calculated when evaluating a recommender algorithm. Specifically, the commonly used train/test data splits and their consequences are re-examined. We begin by examining common data splitting methods, such as random split or leave-one-out, and discuss why the popularity baseline is poorly defined under such splits. We then move on to explore the two implications of neglecting a global timeline during evaluation: data leakage and oversimplification of user preference modeling. Afterwards, we present new perspectives on recommender systems, including techniques for evaluating algorithm performance that more accurately reflect real-world scenarios, and possible approaches to consider decision contexts in user preference modeling.

研究の動機と目的

• 推薦システムにおける学術的なオフライン評価と実世界のオンライン展開の間の乖離を是正すること。
• データ分割におけるグローバルタイムラインの無視が、誤った性能評価と劣悪な人気ベースラインの実装をもたらすメカニズムを特定すること。
• 実際の展開シナリオをよりよくシミュレートするタイムラインに配慮した評価方式を提案すること。
• 単なるユーザー・アイテム相互作用のモデリングを超えて、ユーザー意思決定の文脈をモデル化することで、より良い好みのモデリングを実現すること。
• 推薦システム評価における学術的研究と産業実務のギャップを埋めること。

提案手法

• ユーザーの相互作用の時間的順序を保つことができない標準的なデータ分割手法（例：ランダム分割、leave-one-out）を再評価し、その失敗要因を分析すること。
• 全ユーザーにわたるグローバルタイムラインを維持するオフライン評価のためのタイムラインスキームを導入すること。
• モデルのトレーニングと評価を時間ウィンドウに基づいて段階的に更新することで、リアルタイム展開をシミュレートすること。
• 時間的相互作用時刻やユーザー経験などの意思決定文脈を好みのモデリングに組み込むべきだと提言すること。
• 産業実務に合わせて最近のデータサブセットでモデルを再トレーニングすることで、データ漏洩リスクを低減すること。
• 時間はモデル設計における特徴量ではなく、評価の重要なパrameterであるべきだと提言すること。

実験結果

リサーチクエスチョン

• RQ1 なぜ活発に行動するユーザーほど、より悪い推薦を受けてしまうのか？
• RQ2 データ分割においてグローバルタイムラインを無視すると、人気ベースラインの性能にどのような影響を与えるか？
• RQ3 最近のデータのみを用いることでどれほど推薦性能が向上するのか、そしてなぜ標準的な評価ではその改善が直感に反するのか？
• RQ4 オフライン評価はどのようにして、推薦システムにおける実世界のオンライン展開状況をよりよくシミュレートできるか？
• RQ5 観測されたユーザー・アイテム相互作用を超えて、意思決定文脈はユーザー好みのモデリングにおいて果たす役割は何か？

主な発見

• データ分割におけるグローバルタイムラインの無視は、定義が曖昧な人気ベースラインを生じさせ、性能比較の妥当性を損なう。
• より活発なユーザーに悪い推薦が行われるという直感に反する結果は、データ漏洩と評価時のタイムライン処理の不適切さに起因する。
• 最近のデータサブセットのみを用いることで、推薦性能が顕著に向上することが示され、古いデータはノイズや陳腐化した好みを含む可能性がある。
• タイムラインに配慮した評価方式はデータ漏洩を低減し、実世界の展開をよりよくシミュレートし、モデルの転送性を向上させる。
• タイムラインに配慮しない評価では、実世界の性能を反映しない結果が得られる。
• タイムラインに配慮した評価を基盤として意思決定文脈を好みのモデリングに組み込むことで、より正確で実用的なユーザー好みの表現が可能になる。