[論文レビュー] Large-scale Open Dataset, Pipeline, and Benchmark for Bandit Algorithms

Yuta Saito, Shunsuke Aihara+2 more|arXiv (Cornell University)|Aug 17, 2020

Advanced Bandit Algorithms Research参考文献 21被引用数 4

ひとこと要約

本論文では、ZOZOTOWNの電子商取引プラットフォームから得られた大規模で現実世界のデータに基づく、Open Bandit Dataset および Open Bandit Pipeline を紹介する。これらは、バンディットアルゴリズムおよびオフポリシー評価（OPE）推定器の再現可能で大規模な評価を可能にするために設計された、大規模な現実世界のデータセットとオープンソースのツールキットである。データセットには、複数のバンディットポリシーの真の性能が含まれており、OPE手法の公平なベンチマーク評価と、今後の研究における重要な課題の特定を可能にする。

ABSTRACT

We build and publicize the Open Bandit Dataset to facilitate scalable and reproducible research on bandit algorithms. It is especially suitable for off-policy evaluation (OPE), which attempts to estimate the performance of hypothetical policies using data generated by a different policy.We construct the dataset based on experiments and implementations on a large-scale fashion e-commerce platform, ZOZOTOWN. The data contain the ground-truth about the performance of several bandit policies and enable fair comparisons of different OPE estimators. We also build a Python package called the Open Bandit Pipeline to streamline implementations of bandit algorithms and OPE estimators. Our open data and pipeline will allow researchers and practitioners to easily evaluate and compare their bandit algorithms and OPE estimators with others in a large, real-world setting. Using our data and pipeline, we provide extensive benchmark experiments of existing OPE estimators. Our experiments open up essential challenges and new avenues for future OPE research. Our pipeline and example data are available at this https URL You can follow the updates of the whole project at this https URL

研究の動機と目的

• バンディットアルゴリズムおよびオフポリシー評価（OPE）手法を評価するための、大規模で現実世界のデータセットの不足に対処すること。
• 真のポリシー性能が既知の現実世界のデータを用いて、OPE推定器の公平で再現可能なベンチマーク評価を可能にすること。
• 標準化されたオープンソースのパイプラインを提供することで、研究者および実務家がバンディットアルゴリズムおよびOPE推定器の実装とテストを行う際の障壁を低減すること。
• 現実世界のデータを用いた広範なベンチマーク評価を通じて、既存のOPE手法における実用的課題や制限を明らかにすること。

提案手法

• データセットは、大規模なファッション系電子商取引プラットフォームであるZOZOTOWNにおける実際の実験およびプロダクションログから構築されたもので、ユーザーのインタラクションとポリシー意思決定を捉えている。
• データセットには、複数のバンディットポリシーとのログ記録に加え、各ポリシーの真の性能を示すメトリクスが含まれており、正確なOPE評価を可能にしている。
• 再現性と使いやすさを確保するため、バンディットアルゴリズムおよびOPE推定器の実装を標準化するPythonパッケージ「Open Bandit Pipeline」が開発された。
• パイプラインはデータ読み込み、ポリシー評価、OPE推定器のベンチマーク評価をサポートし、エンドツーエンドの実験を簡素化している。
• データセットおよびパイプラインは公開されており、バンディット学習分野における透明性、再現可能性、およびコミュニティ主導の研究を促進することを目的としている。

実験結果

リサーチクエスチョン

• RQ1 真のポリシー性能が既知の状況下で、大規模で現実世界の電子商取引環境における既存のOPE推定器の性能はどのようになるか？
• RQ2 複雑なユーザー行動を示す現実世界のデータに適用した場合、OPE推定器の主な失敗モードやバイアスは何か？
• RQ3 現実世界の環境における異なる種類のバンディットポリシーおよびデータ分布において、OPE推定器の性能はどのように変動するか？
• RQ4 現実世界のデータにOPEを適用する際、どのような実用的課題が生じるのか。今後の手法は、それらの課題をどのように改善できるか？

主な発見

• Open Bandit Datasetは、いくつかのOPE推定器について、推定された性能と真の性能との間に顕著な乖離が生じていることを明らかにした。これは、現実世界の状況においてこれらの推定器に限界があることを示している。
• 一部の広く使われているOPE推定器は、大規模なサンプルサイズであっても、現実世界のデータに適用した場合に高い分散とバイアスを示すことがある。
• ベンチマーク評価の結果、どのOPE推定器もすべてのシナリオにおいて一貫して優れているとは限らないことが示され、状況に応じた推定器選択の重要性が浮き彫りになった。
• データセットおよびパイプラインは、非一様な行動ポリシーおよび複雑なユーザーフィードバックといった実用的課題を露呈しており、これらはしばしば合成ベンチマークでは再現されていない。