[論文レビュー] Off-Policy Risk Assessment in Contextual Bandits

Audrey Huang, Liu Leqi+2 more|arXiv (Cornell University)|Apr 18, 2021

Advanced Bandit Algorithms Research参考文献 60被引用数 11

ひとこと要約

本稿では、ログデータを用いて文脈的バンディットにおける広範なリスク感受性目的——例えば、CVaR、分散、および平均-分散——を推定するためのフレームワークであるオフポリシー・リスク評価（OPRA）を提案する。累積分布関数（CDF）を推定し、リップシッツリスク関数へのプラグイン推定を適用することで、OPRAはすべてのこのようなリスクに対して一様な有限標本保証を提供し、重要度サンプリングまたは二重にロバストな推定器を用いることで、誤差境界が $O(1/\sqrt{n})$ のレートで収束する。

ABSTRACT

Even when unable to run experiments, practitioners can evaluate prospective policies, using previously logged data. However, while the bandits literature has adopted a diverse set of objectives, most research on off-policy evaluation to date focuses on the expected reward. In this paper, we introduce Lipschitz risk functionals, a broad class of objectives that subsumes conditional value-at-risk (CVaR), variance, mean-variance, many distorted risks, and CPT risks, among others. We propose Off-Policy Risk Assessment (OPRA), a framework that first estimates a target policy's CDF and then generates plugin estimates for any collection of Lipschitz risks, providing finite sample guarantees that hold simultaneously over the entire class. We instantiate OPRA with both importance sampling and doubly robust estimators. Our primary theoretical contributions are (i) the first uniform concentration inequalities for both CDF estimators in contextual bandits and (ii) error bounds on our Lipschitz risk estimates, which all converge at a rate of $O(1/\sqrt{n})$.

研究の動機と目的

• 期待報酬を超えたオフポリシー評価におけるギャップ、特に文脈的バンディットにおけるリスク感受性目的の評価を埋める。
• CVaR、分散、平均-分散を含む広範なクラスのリスク関数を推定できる統一フレームワークの開発。
• 同じデータ分布下で、すべてのリップシッツリスク関数に対して一様に成り立つ有限標本理論的保証の提供。
• 無作為化実験が不可能な現実世界の応用において、実用的なリスク評価を可能にする。

提案手法

• CVaR、分散、平均-分散、および累積プロスペクト理論（CPT）リスクを含む、広範なリスク目的をカバーするリップシッツリスク関数の一般クラスを導入。
• OPRAを提案し、まずログされた文脈的バンディットデータからターゲットポリシーの報酬CDFを推定する。
• 推定されたCDFを用いて、任意のリップシッツリスク関数に対してプラグイン推定を生成し、そのクラス全体にわたる一様な誤差制御を保証する。
• 推定の安定性を向上させるために、重要度サンプリングおよび二重にロバストな推定器の両方をOPRAに適用。
• 文脈的バンディットにおけるCDF推定のための一様な集中不等式を導出する。これは、理論的貢献としての新規性を有する。
• ややいなごうな正則性条件下で、すべてのリップシッツリスク推定に対して $O(1/\sqrt{n})$ の誤差収束レートを確立。

実験結果

リサーチクエスチョン

• RQ1 文脈的バンディットにおける期待報酬を超えるリスク感受性目的をサポートする統一的オフポリシー評価フレームワークを開発できるか？
• RQ2 オフポリシー設定下で、文脈的バンディットにおけるCDF推定に対してどのような理論的保証を提供できるか？
• RQ3 CVaR や分散を含む広範なクラスのリスク関数に対して、一様な有限標本誤差境界をどのように保証できるか？
• RQ4 この文脈において、重要度サンプリングおよび二重にロバストな推定の下で、リスク推定の収束レートは何か？
• RQ5 このフレームワークは、累積プロスペクト理論に由来するような複雑なリスク指標に対しても適用可能か？

主な発見

• 本稿は、文脈的バンディットにおけるCDF推定のための、初めての一様集中不等式を確立し、信頼性の高いリスク推定を可能にする。
• OPRAにおけるすべてのリップシッツリスク推定は、平均推定の最適レートに一致する $O(1/\sqrt{n})$ の収束レートを達成する。
• フレームワークは、条件付きリスク価値（CVaR）、分散、平均-分散、およびCPTリスクを含む広範なリスク関数をサポートする。
• OPRAは、リップシッツリスク関数の全クラスにわたって一様に成り立つ有限標本誤差境界を提供する。
• 重要度サンプリングおよび二重にロバストな推定器を用いる場合でも理論的保証が維持され、モデルの誤指定に対するロバストネスが向上する。
• 本手法により、無作為化実験が不可能な現実世界の設定でも、リスクに配慮したポリシー評価が可能になる。