[論文レビュー] CAB: Continuous Adaptive Blending Estimator for Policy Evaluation and Learning

Yi Su, Lequn Wang+2 more|arXiv (Cornell University)|Jan 1, 2018

Advanced Bandit Algorithms Research被引用数 1

ひとこと要約

本稿では、文脈的バンディットにおけるオフライン方策評価および学習のための新しい反事後推定器であるContinuous Adaptive Blending (CAB) を提案する。CAB は連続的かつ微分可能なブレンド関数を用いて複数の推定器を適応的に組み合わせることで、IPS や直接法よりも低いバイアス、Doubly Robust や IPS よりも低い分散を達成し、部分微分可能性によりエンドツーエンドの学習が可能となる。

ABSTRACT

The ability to perform offline A/B-testing and off-policy learning using logged contextual bandit feedback is highly desirable in a broad range of applications, including recommender systems, search engines, ad placement, and personalized health care. Both offline A/B-testing and off-policy learning require a counterfactual estimator that evaluates how some new policy would have performed, if it had been used instead of the logging policy. In this paper, we identify a family of counterfactual estimators which subsumes most such estimators proposed to date. Our analysis of this family identifies a new estimator - called Continuous Adaptive Blending (CAB) - which enjoys many advantageous theoretical and practical properties. In particular, it can be substantially less biased than clipped Inverse Propensity Score (IPS) weighting and the Direct Method, and it can have less variance than Doubly Robust and IPS estimators. In addition, it is sub-differentiable such that it can be used for learning, unlike the SWITCH estimator. Experimental results show that CAB provides excellent evaluation accuracy and outperforms other counterfactual estimators in terms of learning performance.

研究の動機と目的

• ログ記録された文脈的バンディットデータを用いた正確なオフライン方策評価および学習の課題に対処すること。
• 既存の手法（IPS、直接法、Doubly Robust など）を包含する統一的な反事後推定器の族を特定すること。
• バイアスと分散の両方を同時に最小化する新しい推定器を開発し、評価および学習の両面で最先端の手法を上回ること。
• エンドツーエンドのポリシー学習への応用を可能にするために、部分微分可能であることを保証すること。これにより、SWITCH のような非微分可能推定器の制限を克服する。

提案手法

• IPS、直接法、Doubly Robust などの既存手法を特別なケースとして含む、反事後推定器の族を提案する。
• 複数のベース推定器を学習された連続的重みを用いて組み合わせる、微分可能なブレンド関数であるContinuous Adaptive Blending (CAB) を導入する。
• 連続的かつ部分微分可能なブレンドメカニズムを採用し、勾配ベース最適化を可能にすることで、ポリシー学習パイプラインへの応用を可能にする。
• 理論的性質を導出し、CAB がクリッピング済み IPS や直接法よりも低いバイアス、Doubly Robust や IPS よりも低い分散を達成することを示す。
• ポリシー学習中に勾配降下法を用いてブレンド重みを最適化し、データ分布に適応して推定誤差を最小化する。

実験結果

リサーチクエスチョン

• RQ1 IPS や直接法、Doubly Robust などの既存手法を一般化する統一的な反事後推定器の族を定義できるか？
• RQ2 複数の推定器を適応的にブレンドする推定器は、個々の推定器よりもオフライン方策評価において低いバイアスと分散を達成できるか？
• RQ3 微分可能なブレンドメカニズムは、反事後フィードバックを用いたエンドツーエンドのポリシー学習を可能にするか？
• RQ4 実世界のオフラインバンディットデータにおいて、CAB は最先端の推定器と比較して、評価の正確性と学習パフォーマンスの両面で優れているか？

主な発見

• CAB はオフライン方策評価において、クリッピング済み逆確率スコア（IPS）重み付けや直接法よりも顕著に低いバイアスを達成する。
• CAB はDoubly Robust や IPS の両方よりも低い分散を示し、推定の安定性が向上する。
• 部分微分可能であるため、SWITCH のような非微分可能推定器とは異なり、CAB はエンドツーエンドのポリシー学習を可能にする。
• 実験結果から、CAB はベンチマークオフラインバンディットデータセットにおいて、評価の正確性が優れており、他の推定器よりも学習パフォーマンスが優れていることが示された。