[論文レビュー] Open Bandit Dataset and Pipeline: Towards Realistic and Reproducible Off-Policy Evaluation

Yuta Saito, Shunsuke Aihara+2 more|arXiv (Cornell University)|Aug 17, 2020

Advanced Bandit Algorithms Research被引用数 16

ひとこと要約

本稿では、文脈帯域問題設定における現実的で再現可能なオフポリシー評価（OPE）のための公開ベンチマークデータセットおよび標準化されたソフトウェアフレームワーク、Open Bandit Dataset と Open Bandit Pipeline を紹介する。データセットは、ZOZOTOWNファッションECプラットフォームで実施された実際のA/Bテストから得られた2つのログ済み帯域データセットで構成されており、OPE推定器の直接比較を可能にする。主な貢献は、現実世界のOPEにおける重要な課題、例えば分布シフトや推定器バイアスを明らかにする再現可能な実験パイプラインの構築である。

ABSTRACT

Off-policy evaluation (OPE) aims to estimate the performance of hypothetical policies using data generated by a different policy. Because of its huge potential impact in practice, there has been growing research interest in this field. There is, however, no real-world public dataset that enables the evaluation of OPE, making its experimental studies unrealistic and irreproducible. With the goal of enabling realistic and reproducible OPE research, we present Open Bandit Dataset, a public logged bandit dataset collected on a large-scale fashion e-commerce platform, ZOZOTOWN. Our dataset is unique in that it contains a set of multiple logged bandit datasets collected by running different policies on the same platform. This enables experimental comparisons of different OPE estimators for the first time. We also develop Python software called Open Bandit Pipeline to streamline and standardize the implementation of batch bandit algorithms and OPE. Our open data and software will contribute to fair and transparent OPE research and help the community identify fruitful research directions. We provide extensive benchmark experiments of existing OPE estimators using our dataset and software. The results open up essential challenges and new avenues for future OPE research.

研究の動機と目的

• オフポリシー評価（OPE）のための公開で実世界のデータセットの不足が、バンドイト研究における再現可能性と現実的なベンチマーク化を妨げているという問題に対処すること。
• 標準化された実験パイプラインを提供することで、OPE推定器の公平かつ透明な比較を可能にすること。
• 実際のログ済み帯域データを用いた包括的なベンチマークを通じて、実世界のシステムへのOPE適用における実用的課題を同定すること。
• 合成シミュレーションと実世界のデプロイの間のギャップを埋めるために、ライブECプラットフォームから得た生産規模のデータセットを提供すること。
• オープンソースソフトウェアと標準化された評価手順を通じて、OPE研究における手法的厳密性と透明性を促進すること。

提案手法

• Open Bandit Dataset は、ZOZOTOWNファッションECプラットフォームで実施されたA/Bテスト中に実行された2つの異なるログ済み帯域ポリシー（ベルヌーイ・トマソンサンプリングおよび一様ランダム）から構築された。
• 各インタラクションについて、文脈、行動、報酬、プロパティススコアの情報が含まれており、反事後的ポリシー評価が可能である。
• Open Bandit Pipeline は、データ前処理、ポリシー学習、OPE推定器評価を含む、OPEパイプライン全体を標準化するPythonソフトウェアフレームワークである。
• このフレームワークは、IPWやDRなどの複数のOPE推定器をサポートしており、scikit-learn や PyTorch を用いたポリシー学習と統合可能である。
• パイプラインは、あるポリシーの性能を別のポリシーのデータから推定することでエンドツーエンドの評価を可能にし、真値の性能はオンポリシー評価によって算出される。
• ベンチマーク実験では、OPE推定器の予測値をオンポリシーデータから導出された真値のポリシー性能と比較し、二乗誤差を主な指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 既存のOPE推定器は、合成環境と比較して現実的で実世界の帯域問題設定においてどのように性能を発揮するか？
• RQ2 分布シフトやプロパティススコア推定といった、実世界のログ済み帯域データへのOPE適用における主な課題は何か？
• RQ3 標準化されたソフトウェアパイプラインは、OPE研究における再現可能性と公平性を向上させることができるか？
• RQ4 OPE推定器の性能は、異なる実世界のデータ分布やポリシー行動の下でどのように変化するか？
• RQ5 生産規模のECデータに適用された際、現在のOPE手法にどのような限界があるか？

主な発見

• Open Bandit Dataset は、ライブECプラットフォームからの実世界データを用いて、OPE推定器の直接的かつ公平な比較を可能にする。
• IPW推定器は合成データでは二乗誤差0.00267、マルチクラス分類データでは0.01827を記録し、現実的設定での性能低下が明らかになった。
• 実世界データでは、合成シミュレーションと比較して推定器バイアスと分散が顕著に高まっており、現実性のギャップが示唆された。
• ベンチマーク結果から、多くのOPE推定器が異なるポリシー行動にわたって一般化しにくく、特に分布シフト下で顕著に劣化することが分かった。
• 本研究では、データ品質、プロパティススコア推定、ポリシー行動の不一致が、実世界のOPE応用における重要なボトル neck であると同定した。
• Open Bandit Pipeline は、一貫性があり再現可能なOPE実験を可能にし、実装のばらつきを低減するとともに研究の透明性を向上させた。