[論文レビュー] Offline Evaluation for Reinforcement Learning-based Recommendation: A Critical Issue and Some Alternatives

Romain Deffayet, Thibaut Thonet+2 more|arXiv (Cornell University)|Jan 3, 2023

Advanced Bandit Algorithms Research被引用数 5

ひとこと要約

この論文は、強化学習（RL）ベースのレコメンデーションシステムの評価に用いられる標準的な次アイテム予測（NIP）プロトコルを批判し、RLの長期的最適化の利点を捉えておらず、深刻な欠陥を隠していると主張する。代わりに、不確実性を考慮した評価やインサポート政策評価といった代替評価手法を提案することで、オフラインRLレコメンデーションにおける生態的妥当性を高め、デプロイリスクを低減する。

ABSTRACT

In this paper, we argue that the paradigm commonly adopted for offline evaluation of sequential recommender systems is unsuitable for evaluating reinforcement learning-based recommenders. We find that most of the existing offline evaluation practices for reinforcement learning-based recommendation are based on a next-item prediction protocol, and detail three shortcomings of such an evaluation protocol. Notably, it cannot reflect the potential benefits that reinforcement learning (RL) is expected to bring while it hides critical deficiencies of certain offline RL agents. Our suggestions for alternative ways to evaluate RL-based recommender systems aim to shed light on the existing possibilities and inspire future research on reliable evaluation protocols.

研究の動機と目的

• RLベースのレコメンデーションシステムの評価に広く用いられている次アイテム予測（NIP）プロトコルに内在する深刻な欠陥を特定すること。
• NIPがRLが目指す長期的最適化の恩恵を正しく反映していないことを示すこと。
• NIPがオフラインRLエージェントの欠陥を隠し、デプロイリスクを増大させることを暴露すること。
• 順序付けられたレコメンデーションにおけるRLの真の目的と整合性のとれた代替評価手法を提案すること。
• レコメンデーション研究コミュニティが、オフラインRLエージェントのより強固で不確実性を考慮した評価慣習を採用するよう促すこと。

提案手法

• 1ステップ先の次アイテム予測ではなく、ユーザーの全シーケンスにわたる期待累積報酬に基づいてRLポリシーを評価することを提案する。
• ログポリシーのサポート内でのパフォーマンスを定量的に評価することで、不確実性を考慮した評価を導入し、分布外リスクを低減する。
• オフラインデータセットで観測された状態・行動ペアにおけるパフォーマンスを推定するインサポートポリシー評価を用い、分布シフトの問題を最小限に抑える。
• オフラインRLの文献で用いられる技術、例えば分布マッチングやホールドアウトテストセットにおけるQ値推定を活用し、ポリシーの信頼性を評価する。
• Fujimotoら（2019）やKumarら（2021）の既存手法を活用し、ポリシーのサポートにおける不確実性への耐性を定義および調整する。
• Oosterhuis & de Rijke（2021）およびGhoshら（2022）のインスパイアを受けて、リスクの定量化とフォールバックメカニズムの組み合わせを提案し、信頼性の高いデプロイを実現する。

実験結果

リサーチクエスチョン

• RQ1 なぜ次アイテム予測（NIP）プロトコルは、RLベースのレコメンデーションシステムの評価に不適切なのか？
• RQ2 NIPプロトコルは、順序付けられたレコメンデーションにおける強化学習の長期的最適化目標をどのように反映していないのか？
• RQ3 NIPプロトコルは、オフラインRLエージェントの深刻な欠陥をどのように隠しており、それがデプロイ失敗を引き起こす原因となるのか？
• RQ4 オフライン環境におけるRLベースレコメンデーションの真のパフォーマンスとリスクをよりよく捉える代替評価プロトコルは何か？
• RQ5 不確実性の定量化とインサポート評価は、オフラインRLポリシー評価の信頼性をどのように向上させるのか？

主な発見

• 次アイテム予測（NIP）プロトコルは短視眼的であり、RLが設計された長期的累積報酬最適化を評価できない。
• NIPは、特に分布外の状態・行動ペアにおいてオフラインRLエージェントの欠陥を隠しており、深刻なデプロイリスクを増大させる。
• プロトコルは最適化の呪いに敏感であり、ハイパーパramータチューニングにおける選択バイアスにより、パフォーマンスが過大評価される。
• ログポリシーのサポート内での不確実性を考慮した評価により、より信頼性の高いパフォーマンス推定が可能となり、デプロイリスクが低減する。
• インサポート領域内で高い期待報酬を達成するポリシーはより信頼性が高く、デプロイの優先順位を高めることができる。
• 現在のところ、RLベースレコメンデーションの完全に満足のいくオフライン評価手法は存在しないが、不確実性を考慮した評価とインサポート評価は、オンラインパフォーマンスの代替として実用的で安全なプロキシを提供する。