[論文レビュー] Improving offline evaluation of contextual bandit algorithms via bootstrapping techniques

Olivier Nicol, Jérémie Mary+1 more|arXiv (Cornell University)|May 14, 2014

Advanced Bandit Algorithms Research参考文献 23被引用数 15

ひとこと要約

本稿では、文脈的バンディットアルゴリズムのオフライン評価のためのブートストラップに基づく手法BREDを提案する。BREDは推定精度を著しく向上させるとともに、信頼性の高い不確実性推定を提供する。ジャイターリングされた報酬を用いたデータの再サンプリングとブートストラップ分散推定を活用することで、特にデータが限られた動的レコメンデーション設定において、従来のリプレイ手法と比較して収束が速くなり、バイアスも低減される。

ABSTRACT

In many recommendation applications such as news recommendation, the items that can be rec- ommended come and go at a very fast pace. This is a challenge for recommender systems (RS) to face this setting. Online learning algorithms seem to be the most straight forward solution. The contextual bandit framework was introduced for that very purpose. In general the evaluation of a RS is a critical issue. Live evaluation is of- ten avoided due to the potential loss of revenue, hence the need for offline evaluation methods. Two options are available. Model based meth- ods are biased by nature and are thus difficult to trust when used alone. Data driven methods are therefore what we consider here. Evaluat- ing online learning algorithms with past data is not simple but some methods exist in the litera- ture. Nonetheless their accuracy is not satisfac- tory mainly due to their mechanism of data re- jection that only allow the exploitation of a small fraction of the data. We precisely address this issue in this paper. After highlighting the limita- tions of the previous methods, we present a new method, based on bootstrapping techniques. This new method comes with two important improve- ments: it is much more accurate and it provides a measure of quality of its estimation. The latter is a highly desirable property in order to minimize the risks entailed by putting online a RS for the first time. We provide both theoretical and ex- perimental proofs of its superiority compared to state-of-the-art methods, as well as an analysis of the convergence of the measure of quality.

研究の動機と目的

• 動的レコメンデーション設定において、文脈的バンディットアルゴリズムのオフライン評価手法の精度が低く、バイアスが大きいという問題に取り組む。
• リプレイベース手法におけるデータ拒否の制限が、利用可能なデータ量を著しく制限し、推定分散を増大させるという限界を克服する。
• 正確なパフォーマンス推定に加え、安全なデプロイメント意思決定を支援するための信頼性の高い推定不確実性の測定を提供する手法を開発する。
• ブートストラップ技術が、オンライン学習アルゴリズムのオフライン評価において収束を著しく加速させ、バイアスを低減できることを実証する。

提案手法

• 歴史的相互作用データのブートストラップ再サンプリングを用いて、文脈的バンディット方策のパフォーマンスを推定する、新しいオフライン評価手法BRED（ブートストラップベース報酬推定）を提案する。
• 再サンプリング時に報酬値にジャイタリングを導入することで分散推定を安定化させ、収束を向上させ、最適なジャイタリングレベルが $O(1/\sqrt{T})$ のスケールに比例することが示された。
• ブートストラップの原則を活用して、パフォーマンス推定器の標本分布を推定し、信頼区間と不確実性の定量化を可能にする。
• 非ステーションナリティ（非定常性）条件下でも有効性を保つために、動的データセット（例：Yahoo! R6B）内のスライディングウィンドウに静的データを適用する。
• 複数の再サンプルからのブートストラップ推定値を組み合わせて、信頼性が高く分散が小さいパフォーマンス推定値を計算し、形式的な分散推定を実施する。
• 合成データおよび実世界のデータセット（Yahoo! R6B）を用いた実証的検証により、BREDをリプレイ法および他のベースライン手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 データ拒否が利用可能なデータセットサイズを制限する状況において、文脈的バンディットアルゴリズムのオフライン評価をどのようにしてより正確にできるか？
• RQ2 ブートストラップ技術は、オンライン学習方策のオフライン評価においてバイアスを低減し、収束速度を向上させることができるか？
• RQ3 提案手法は、安全なデプロイメント意思決定に不可欠なパフォーマンス推定の不確実性を信頼性を持って提供できるか？
• RQ4 動的レコメンデーションデータにおいて、BREDは最先端のリプレイベース手法と比較して推定精度の点で優れているか？
• RQ5 ブートストラップパフォーマンス推定におけるバイアスと分散のバランスを最適化するための報酬再サンプリングにおけるジャイタリングの最適レベルは何か？

主な発見

• BREDは、データ拒否の低減と分散制御の向上により、特に小規模データセットにおいて、従来のリプレイベース手法と比べて推定精度が著しく優れている。
• 静的データセットにおいて、BREDはリプレイ法よりもはるかに速く収束し、合成データおよび実世界データの両方で顕著に低い推定誤差を示している。
• BREDはブートストラップ分散推定を用いて信頼性の高い不確実性測定を提供しており、これは新しいレコメンデーションシステムをデプロイする際のリスク低減に不可欠である。
• 再サンプリングにおけるジャイタリング報酬の使用は、特にデータセットサイズが限られた場合に安定性を向上させ、バイアスを低減するが、最適なジャイタリングは $O(1/\sqrt{T})$ のスケールに比例することが示された。
• Yahoo! R6Bデータセットでは、BREDはリプレイ法が小規模バッチにおいてパフォーマンスを系統的に低く推定するのに対し、真値に近いクリックスルーレートを一貫して推定している。
• 理論的分析により、不確実性推定の高速収束が確認され、実世界のデプロイメント意思決定における実用的有用性が裏付けられた。