[論文レビュー] Do Offline Metrics Predict Online Performance in Recommender Systems?

Karl Krauth, Sarah Dean+5 more|arXiv (Cornell University)|Nov 7, 2020

Advanced Bandit Algorithms Research参考文献 39被引用数 11

ひとこと要約

本論文は、推薦システムにおけるオフライン指標がオンラインパフォーマンスを予測できるかどうかを、6つの制御された環境で11のレコメンデーションモデルをシミュレートすることで調査している。オフライン指標とオンラインパフォーマンスの間に相関関係があるものの、改善の効果は次第に小さくなり、レコメンデーションモデルの順位付けは初期のオフラインデータの可用性やエクスプロレーション戦略に強く依存することが判明した。

ABSTRACT

Recommender systems operate in an inherently dynamical setting. Past recommendations influence future behavior, including which data points are observed and how user preferences change. However, experimenting in production systems with real user dynamics is often infeasible, and existing simulation-based approaches have limited scale. As a result, many state-of-the-art algorithms are designed to solve supervised learning problems, and progress is judged only by offline metrics. In this work we investigate the extent to which offline metrics predict online performance by evaluating eleven recommenders across six controlled simulated environments. We observe that offline metrics are correlated with online performance over a range of environments. However, improvements in offline metrics lead to diminishing returns in online performance. Furthermore, we observe that the ranking of recommenders varies depending on the amount of initial offline data available. We study the impact of adding exploration strategies, and observe that their effectiveness, when compared to greedy recommendation, is highly dependent on the recommendation algorithm. We provide the environments and recommenders described in this paper as Reclab: an extensible ready-to-use simulation framework at https://github.com/berkeley-reclab/RecLab.

研究の動機と目的

• 推薦システムにおけるオフライン指標のオンラインパフォーマンス予測能力を評価すること。
• フィードバックループ、ユーザーダイナミクス、エクスプロレーション戦略がオフライン指標とオンラインパフォーマンスの相関に与える影響を調査すること。
• 初期のオフラインデータの可用性がレコメンデーションモデルの順位付けとパフォーマンスに与える影響を検討すること。
• 異なるアルゴリズムタイプにおいて、グリーディーな推薦と比較した場合のエクスプロレーション戦略の有効性を評価すること。
• 将来の推薦ダイナミクス研究のための再現可能で拡張可能なシミュレーションフレームワーク（RecLab）を提供すること。

提案手法

• フィードバック効果を分離するために、ユーザーダイナミクス、アイテム人気、データ可用性にばらつきを持つ6つの制御された環境をシミュレートした。
• ベースライン、近隣、カーネル、線形、因子分解、ニューラルモデルを含む11種類の多様なレコメンデーションモデルを評価した。
• 訓練、検証、テスト分割に対して標準的なオフライン指標（RMSE と nDCG）を用いてモデルパフォーマンスを評価した。
• 動的シミュレーション環境において、ユーザーレーティング、カバレッジ、多様性指標を用いてオンラインパフォーマンスを測定した。
• エクスプロレーション戦略（例：ε-greedy）を適用し、グリーディーな推薦との影響を比較した。
• 再現可能性と拡張性を高めるために、シミュレーションフレームワーク RecLab をオープンソースとして公開した。

実験結果

リサーチクエスチョン

• RQ1 RMSE や nDCG といったオフライン指標は、動的推薦システムにおけるオンラインパフォーマンスをどの程度予測できるか？
• RQ2 フィードバック効果とユーザーダイナミクスは、オフライン指標とオンラインパフォーマンスの関係にどのように影響するか？
• RQ3 シミュレーションにおける初期オフラインデータの量が、レコメンデーションモデルの順位付けに影響を及えるか？
• RQ4 エクスプロレーション戦略はグリーディーな推薦よりも有効であるか？また、その有効性はアルゴリズムタイプによって異なるか？
• RQ5 カバレッジと多様性指標は、さまざまなシミュレート環境においてパフォーマンスとどの程度相関するか？

主な発見

• RMSE や nDCG といったオフライン指標は、複数のシミュレート環境においてオンラインパフォーマンスと有意に相関している。
• オフライン指標の改善がオンラインパフォーマンスに与える効果は次第に小さくなり、精度の向上が進むほど実世界での利益が著しく小さくなる傾向がある。
• レコメンデーションモデルの相対的順位は、初期のオフラインデータの量に依存しており、データの可用性がモデルパフォーマンスの比較に強く影響することが示された。
• エクスプロレーション戦略はグリーディーな推薦に比べてオンラインパフォーマンスを向上させるが、その有効性は下位の推薦アルゴリズムに強く依存する。
• カバレッジと多様性指標は環境に依存した相関を示す—トピック静的環境では正の相関を示すが、顕在的静的環境では弱い相関を示す。これはアイテムバイアス効果による可能性が大きい。
• シミュレーションフレームワーク RecLab は、制御された再現可能なレコメンデーションダイナミクスの評価を可能にし、オフライン評価や実世界のオンライン評価では観察できない現象を明らかにした。