[論文レビュー] On Offline Evaluation of Recommender Systems.

Yitong Ji, Aixin Sun+2 more|arXiv (Cornell University)|Oct 21, 2020

Recommender Systems and Techniques被引用数 2

ひとこと要約

この論文は、オフラインレコメンデーションシステムの評価においてグローバルなタイムラインを無視すると、データ漏洩が発生し、現実的でない性能推定につながることを示している。MovieLensデータセットを用いてBPRおよびNeuMFを評価した結果、将来のデータにアクセスできることで性能が不自然に向上する可能性があり、モデルの比較が不正しくなり、より多くの歴史的データが常に性能を向上させるという仮定が揺らぐことになる。

ABSTRACT

In academic research, recommender models are often evaluated offline on benchmark datasets. The offline dataset is first split to train and test instances. All training instances are then modeled in a user-item interaction matrix, and supervised learning models are trained. Many such offline evaluations ignore the global timeline in the data, which leads to leakage: a model learns from future data to predict a current value, making the evaluation unrealistic. In this paper, we evaluate the impact of leakage using two widely adopted baseline models, BPR and NeuMF, on MovieLens dataset. We show that accessing to different amount of future data may improve or deteriorate a model's recommendation accuracy. That is, ignoring the global timeline in offline evaluation makes the performance among recommendation models not comparable. Our experiments also show that more historical data in training set does not necessarily lead to better recommendation accuracy. We share our understanding of these observations and highlight the importance of preserving the global timeline. We also call for a revisit of recommender system offline evaluation.

研究の動機と目的

• オフラインレコメンデーションシステムの評価において、グローバルな時間的順序を無視した影響を調査すること。
• 将来の相互作用によるデータ漏洩がモデルの性能指標に与える影響を評価すること。
• より多くの歴史的トレーニングデータが常に推薦精度を向上させるという仮定を疑うこと。
• オフラインベンチマークにおいてタイムラインを保持する評価プロトコルを提唱すること。

提案手法

• グローバルなタイムライン順序を保ったまま、MovieLensデータセットをトレーニングセットとテストセットに分割すること。
• 時間的に順序付けられたデータを用いてBPRおよびNeuMFモデルをトレーニングし、現実的なユーザー・アイテム相互作用の順序をシミュレートすること。
• 将来のデータへの露出量を変化させることで、漏洩効果を測定するためのモデル性能を評価すること。
• 異なる時間的スプリットにおけるモデルの精度を比較し、将来のデータの影響が予測に与える影響を評価すること。
• 時間的順序を制御した上で、トレーニングセットのサイズと推薦精度の関係を分析すること。

実験結果

リサーチクエスチョン

• RQ1 オフライン評価においてグローバルなタイムラインを無視すると、BPRおよびNeuMFモデルの性能にどのような影響を与えるか？
• RQ2 将来のデータにさらされることで、オフライン環境における推薦精度は、どの程度向上または低下するか？
• RQ3 トレーニングセットにおける歴史的データの量を増やすと、常にモデルの性能が向上するのか？
• RQ4 タイムライン無視型評価は、レコメンデーションシステムモデル間の誤った比較を引き起こす可能性があるか？

主な発見

• オフライン評価においてグローバルなタイムラインを無視すると、将来の相互作用から学習するデータ漏洩が発生し、性能推定が楽観的になりすぎる。
• 将来のデータへの露出量が異なると、モデルの精度はデータスプリットやモデルアーキテクチャに応じて向上することもあれば、悪化することもある。
• トレーニングセットにより多くの歴史的データがあるからといって、必ずしも推薦精度が向上するとは限らず、これはオフライン評価における一般的な仮定に疑問を呈する。
• 評価時にグローバルなタイムラインが保持されない場合、モデル間の性能差は比較不能になる。