[論文レビュー] Conformal Off-Policy Prediction in Contextual Bandits

Muhammad Faaiz Taufiq, Jean-François Ton+3 more|arXiv (Cornell University)|Jun 9, 2022

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本稿では、観測データを用いて文脈的バンディットにおけるターゲット方針下での結果の有限標本有効な予測区間を構築するための新規手法、Conformal Off-Policy Prediction (COPP) を提案する。COPP は順応的予測に適した分布フリーな区間を、被覆率の保証とともに提供するため、適合性の高い適合性を備えた被覆率保証を実現する。合成および実世界のベンチマークにおいて、被覆率の正確性と区間幅の両面で既存手法を上回る性能を示した。

ABSTRACT

Most off-policy evaluation methods for contextual bandits have focused on the expected outcome of a policy, which is estimated via methods that at best provide only asymptotic guarantees. However, in many applications, the expectation may not be the best measure of performance as it does not capture the variability of the outcome. In addition, particularly in safety-critical settings, stronger guarantees than asymptotic correctness may be required. To address these limitations, we consider a novel application of conformal prediction to contextual bandits. Given data collected under a behavioral policy, we propose \emph{conformal off-policy prediction} (COPP), which can output reliable predictive intervals for the outcome under a new target policy. We provide theoretical finite-sample guarantees without making any additional assumptions beyond the standard contextual bandit setup, and empirically demonstrate the utility of COPP compared with existing methods on synthetic and real-world data.

研究の動機と目的

• 従来のオフポリシー評価手法が期待値のみに焦点を当てており、有限標本の有効性に欠けるという限界を是正すること。
• 特に小標本またはリスク感受性の高い状況において、結果の変動を捉える信頼性の高い予測区間を提供する手法の開発。
• 共変量 $X$ に適応する被覆率保証を確保し、既存手法で一般的に見られる過剰に保守的な区間を回避すること。
• 文脈的バンディット設定において、確率的方針および連続的行動空間への順応的予測の拡張。
• COPP がターゲット被覆率を維持しながら、競合手法に比べて狭い区間を生成することを実証的に検証すること。

提案手法

• COPP は、事前に指定された確率で真の結果 $Y$ を含む予測集合 $\hat{C}(x)$ を構築することで、オフポリシー結果予測に順応的予測を適用する。
• 行動方針 $\pi^b$ における観測データを再重み付けすることで、ターゲット方針 $\pi^*$ における結果の分布を推定するため、逆確率重み付けを用いる。
• 推定された条件付き確率 $\hat{P}^{\pi^b}(y|x)$ をもとにスコア関数 $s(x,y)$ を定義し、順応的予測のための結果の順序付けに用いる。
• 補正データセット上でスコアの経験的分布の $1-\alpha$ 分位数まで、スコアが低い順に結果を含むことで予測集合を形成する。
• 離散的結果の場合、グリッドベースの近似を避けるために、結果空間 $\mathcal{Y}$ 上で直接分位数を計算する。
• このアプローチにより、有限標本のマージナル被覆率が保証される：$\mathbb{P}(Y \in \hat{C}(X)) \geq 1 - \alpha - o(n^{-1})$。また、弱い正則性条件の下で漸近的条件被覆率を達成する。

実験結果

リサーチクエスチョン

• RQ1 順応的予測区間が、文脈的バンディットにおけるオフポリシー結果に適用可能であり、有限標本の被覆率保証を満たすように適応可能か？
• RQ2 WIS や SBA といった既存のオフポリシー評価手法と比較して、COPP の被覆率性能は、正確性と区間幅の両面でどのように異なるか？
• RQ3 COPP は、ポリシーのシフト度合いや異質なデータ分布の変動に対しても、信頼性の高い被覆率を維持できるか？
• RQ4 COPP が漸近的条件被覆率を達成する条件は何か？ また、それらの条件はモデルの誤指定とどのように関係するか？
• RQ5 離散的結果設定において、ラベル条件付き被覆率保証を実現するように COPP を拡張可能か？

主な発見

• COPP は、テストされたすべてのターゲット方針において、一貫して名目の $90\%$ に近い被覆率を達成した。一方、WIS や SBA は、ポリシーのシフトが大きくなるにつれて、ますます保守的になる傾向を示した。
• 補正点数 $n = 5000$ の実験において、COPP は平均 $90.1\%$ の被覆率を維持した。これは、WIS（$94.3\%$）や SBA（$95.1\%$）と比較して、ターゲットにはるかに近い。
• COPP は、特に WIS が $X$-適応性に欠けるため、すべてのラベルを含むことになる離散的結果設定においても、WIS や SBA よりも狭い予測区間を生成した。
• COPP は、ポリシーのシフトや異分散性に対して頑健であることが示された。非適応的手法で見られる過剰な保守性を回避した。
• ラベルバランスの取れた順応的予測により、ラベル条件付き被覆率が達成された。実証的結果では、各ラベルで $\geq 90\%$ の条件被覆率が得られた。これに対して、標準的な COPP はこのような制約下で失敗する可能性がある。
• 実証的結果により、COPP の被覆率は補正データサイズの増加に伴い向上し、ターゲット水準に収束することが確認された。一方、競合手法は依然として過剰に保守的であった。