[論文レビュー] Large-scale Validation of Counterfactual Learning Methods: A Test-Bed

Damien Lefortier, Adith Swaminathan+3 more|arXiv (Cornell University)|Dec 1, 2016

Advanced Bandit Algorithms Research参考文献 10被引用数 27

ひとこと要約

本稿は、実世界のディスプレイ広告データを用いた大規模で公開可能なテストベッドを導入し、バナー広告配置の文脈におけるオフポリシー学習手法を評価する。実世界のデータセットにおいて、最新の反事後学習手法（POEM や二重に頑健な最適化）が、適切なプロパENSITYスコアを用いることで、監視学習ベースラインを著しく上回り、推定クリックスルーレートを向上させることを示している。

ABSTRACT

The ability to perform effective off-policy learning would revolutionize the process of building better interactive systems, such as search engines and recommendation systems for e-commerce, computational advertising and news. Recent approaches for off-policy evaluation and learning in these settings appear promising. With this paper, we provide real-world data and a standardized test-bed to systematically investigate these algorithms using data from display advertising. In particular, we consider the problem of filling a banner ad with an aggregate of multiple products the user may want to purchase. This paper presents our test-bed, the sanity checks we ran to ensure its validity, and shows results comparing state-of-the-art off-policy learning methods like doubly robust optimization, POEM, and reductions to supervised learning using regression baselines. Our results show experimental evidence that recent off-policy learning methods can improve upon state-of-the-art supervised learning techniques on a large-scale real-world data set.

研究の動機と目的

• 実世界のログデータを用いたオフポリシー学習アルゴリズムを評価するための標準的で大規模なテストベッドを提供すること。
• 現実的で高リスクのインタラクティブシステム環境において、反事後学習手法の体系的ベンチマークを可能にすること。
• 二重に頑健な最適化や POEM などの最近のオフポリシー学習技術が、実世界のデータセットにおいて監視学習ベースラインに対して効果的に機能することを検証すること。
• オフポリシー学習研究におけるデータ品質と妥当性のための厳密なサニティーチェックを確立すること。
• 将来の研究を支援するため、スケーラブルなポリシー学習、より良い正則化、バッチ学習におけるフィードバックの選択の改善を促進すること。

提案手法

• テストベッドは、Criteo のディスプレイ広告プラットフォームから得た実世界のログデータを用い、各行動に対して正確なプロパENSITYスコアを有する。
• 学習タスクは、ユーザーと製品の文脈的特徴を用いて、クリックスルーレートを最大化するための最適な製品をバナー広告に表示選択すること（1スロットケース）。
• システムは、ログデータを用いた文脈的バンディット問題として問題をモデル化し、各ユーザーインプレッションには文脈、候補製品、観測されたフィードバック（クリック）が含まれる。
• 広告配置時のランダム化されたエクスプロレーションにより、正確なプロパENSITYスコアがログに記録され、有効な反事後評価が可能となる。
• 評価フレームワークは、33-33-33% のトレイン・バリデーション・テスト分割を採用し、標準的な指標（推定報酬 $\hat{R}(\pi)$ とコスト $\hat{C}(\pi)$）を適用する。
• 6つの手法をベンチマーク対象とする：ランダム、回帰（監視学習）、IPS、DRO（二重に頑健な最適化）、POEM であり、すべてが線形ポリシークラス $\pi \in \Pi_{\text{lin}}$ を用いる。

実験結果

リサーチクエスチョン

• RQ1 最近のオフポリシー学習手法は、実世界の大規模な環境において、標準的な監視学習ベースラインを上回ることができるか？
• RQ2 正確なプロパENSITYスコアを有する実世界のログデータ上で評価された場合、さまざまな反事後推定手法（例：IPS、DRO、POEM）はどの程度の性能を示すか？
• RQ3 データ品質およびログ手順に関するサニティーチェックが、オフポリシー評価の信頼性にどの程度影響を及えるか？
• RQ4 プロパENSITYスコアを活用するポリシー最適化手法は、観測報酬への直接回帰と比較して、より優れた一般化性能を達成できるか？
• RQ5 ハイパーパramータの選択と分散正則化は、POEM や DRO などのオフポリシー学習アルゴリズムの性能にどのように影響を及えるか？

主な発見

• POEM はテストセットで最高の推定報酬 $58.040 \times 10^{-4}$ を達成し、99%信頼区間は $\pm 3.407 \times 10^{-4}$ であった。
• 二重に頑健な最適化（DRO）は $57.356 \times 10^{-4}$ を達成し、回帰ベースラインの $48.353 \times 10^{-4}$ を著しく上回った。
• IPS推定は $54.125 \times 10^{-4}$ を得ており、ログポリシー $\pi_0$ の $53.540 \times 10^{-4}$ よりも改善を示した。
• POEM と DRO の性能は、監視回帰ベースラインと比べて顕著に優れており、反事後手法がプロパENSITYスコアを効果的に活用して一般化性能を向上させていることを示している。
• 最小限のハイパーパramータチューニングでも、POEM と DRO はすべてのベースラインを上回った。これは、これらの手法が実世界への導入において強く実証的 promise を持つことを示唆している。
• 結果は、現代のオフポリシー学習手法が大規模な実世界データセットにおいて、最先端の監視学習技術を凌駕できることを初めて実験的に裏付けたものである。