[論文レビュー] An Unbiased, Data-Driven, Offline Evaluation Method of Contextual Bandit Algorithms

Lihong Li, Wei Chu+1 more|arXiv (Cornell University)|Mar 31, 2010

Advanced Bandit Algorithms Research参考文献 25被引用数 3

ひとこと要約

この論文は、実際の履歴ログデータを直接使用することで、シミュレーションバイアスを排除するデータ駆動型でリプレイベースのオフライン評価手法を提案している。シミュレータベースの手法とは異なり、誤差のない評価が保証され、大規模なYahoo!ニュースデータセットにおいてオンラインバケットテストと強い整合性を示している。

ABSTRACT

Contextual bandit algorithms have become popular for online recommendation systems such as Digg, Yahoo! Buzz, and news recommendation in general. \emph{Offline} evaluation of the effectiveness of new algorithms in these applications is critical for protecting online user experiences but very challenging due to their partial-label nature. Common practice is to create a simulator which simulates the online environment for the problem at hand and then run an algorithm against this simulator. However, creating simulator itself is often difficult and modeling bias is usually unavoidably introduced. In this paper, we introduce a \emph{replay} methodology for contextual bandit algorithm evaluation. Different from simulator-based approaches, our method is completely data-driven and very easy to adapt to different applications. More importantly, our method can provide provably unbiased evaluations. Our empirical results on a large-scale news article recommendation dataset collected from Yahoo! Front Page conform well with our theoretical results. Furthermore, comparisons between our offline replay and online bucket evaluation of several contextual bandit algorithms show accuracy and effectiveness of our offline evaluation method.

研究の動機と目的

• 推薦システムにおける文脈的バンディットアルゴリズムのオフライン評価におけるバイアスや不正確さの問題に取り組むこと。
• しばしばモデル化バイアスを生じるシミュレーションベースの評価に依存しないようにすること。
• 異なるアプリケーションに容易に適応可能であり、かつ保証されたバイアスなしの評価手法を開発すること。
• オンラインバケットテストとの比較を通じて、この手法の正確性を検証すること。
• 実世界の推薦システムにおけるシミュレータベース評価の実用的でデータ駆動型の代替手段を提供すること。

提案手法

• 本手法は、現実世界のデータセットから得た履歴ログのインタラクションを再実行するリプレイメカニズムを用いる。
• 文脈、行動、報酬を含むログデータを活用し、文脈的バンディットの意思決定プロセスを再構築する。
• 環境や報酬モデルに関する仮定を避けるために、過去のインタラクションからの実際の観測報酬に基づく評価を行う。
• ログデータを真のデータ分布の代表的サンプルとみなすことにより、バイアスのない推定を保証する。
• 複数のバンディットアルゴリズムを同じ履歴データで比較可能であり、公平で一貫性のある評価を可能にする。
• 本手法は完全にオフラインであり、オンラインデプロイやユーザー行動のシミュレーションを必要としない。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型のリプレイ手法は、文脈的バンディットアルゴリズムのバイアスのないオフライン評価を可能にするか？
• RQ2 実世界の環境において、リプレイ手法の性能はオンラインバケットテストと比べてどうなるか？
• RQ3 シミュレータベース評価と比較して、リプレイ手法はどの程度バイアスを低減できるか？
• RQ4 リプレイ手法は、さまざまな推薦システムアプリケーションにスケーラブルかつ適応可能か？
• RQ5 リプレイを用いたオフライン評価は、オンラインアルゴリズム性能を正確に反映するか？

主な発見

• リプレイベースの評価手法は、シミュレータベースの手法とは異なり、アルゴリズム性能の保証されたバイアスなしの推定を提供する。
• 大規模なYahoo!ニュースデータセットを用いた実験結果から、オフラインリプレイ評価とオンラインバケットテストの間に強い一致が確認された。
• シミュレータ設計に内在するモデル化バイアスを排除するため、本手法はシミュレーションベース評価を上回る。
• 本手法は、実際のログデータに依存するため、異なるアプリケーションへの容易な適応性を有する。
• オフライン評価結果はオンライン性能をよく再現しており、本手法の正確性と信頼性を裏付けている。
• 本研究は、リプレイベース評価が、アルゴリズム選定のためのオンラインA/Bテストの信頼できる代替手段であることを確認した。