[論文レビュー] Behaviour Policy Estimation in Off-Policy Policy Evaluation: Calibration Matters

Aniruddh Raghu, Omer Gottesman+5 more|arXiv (Cornell University)|Jul 3, 2018

Advanced Causal Inference Techniques参考文献 7被引用数 24

ひとこと要約

本稿は、医療分野におけるオフポリシー評価（OPE）における行動方針推定の行動特性を調査し、モデルのキャリブレーションがOPEの正確さに顕著に影響することを示している。実世界の敗血症データセットを用いて、深層ニューラルネットワークよりも単純なk近傍法（kNN）モデルがより良好にキャリブレートされた行動方針推定を達成でき、その結果、重要度スケーリングに基づくOPEの結果が著しく正確になることを示している。

ABSTRACT

In this work, we consider the problem of estimating a behaviour policy for use in Off-Policy Policy Evaluation (OPE) when the true behaviour policy is unknown. Via a series of empirical studies, we demonstrate how accurate OPE is strongly dependent on the calibration of estimated behaviour policy models: how precisely the behaviour policy is estimated from data. We show how powerful parametric models such as neural networks can result in highly uncalibrated behaviour policy models on a real-world medical dataset, and illustrate how a simple, non-parametric, k-nearest neighbours model produces better calibrated behaviour policy estimates and can be used to obtain superior importance sampling-based OPE estimates.

研究の動機と目的

• 実世界の医療応用におけるオフポリシー評価（OPE）の正確さに、行動方針推定の品質が与える影響を調査すること。
• 特に医療意思決定において行動方針が未知である観察データの課題に対処すること。
• パラメトリックモデル（例：ニューラルネットワーク）と比較して、非パラメトリックモデル（例：kNN）が、よりキャリブレートされた行動方針推定を達成できるかどうかを評価すること。
• 行動方針モデルの改善されたキャリブレーションが、重要度スケーリングを用いたOPE推定の正確さを向上させることを実証すること。
• データ制限のある実世界の分野でOPEのパフォーマンスを向上させる、実用的で信頼性の高い行動方針推定手法を提供すること。

提案手法

• 実際の敗血症データセットを用いて、k近傍法（kNN）、ニューラルネットワーク（NN）、およびその他のパラメトリックモデルによる行動方針推定を実証的に評価する。
• オフポリシー価値評価に、各時刻加重重要度スケーリング（PHWIS）および各時刻加重二重ロバスト（PHWDR）推定器を用いる。
• 各軌道における推定された行動方針確率と真の行動方針確率の平均絶対誤差を用いてキャリブレーションを評価する。
• ブートストラップサンプリングを用いて頑健性を確保しつつ、推定されたOPE値とポリシー内価値推定との間の平均二乗誤差（MSE）を用いてOPEパフォーマンスを比較する。
• ランダム分割および介入ベースの分割を用いて、訓練用および評価用データに分割することで、現実的なポリシー評価シナリオを模擬する。
• PHWDR推定器の分散低減のため、ランダムフォレストを用いたフィットド-Qイテレーションを用いて行動価値関数を推定する。

実験結果

リサーチクエスチョン

• RQ1 制御されたナビゲーションドメインにおいて、推定された行動方針のキャリブレーションは、オフポリシー評価（OPE）の正確さにどのように影響するか？
• RQ2 深層ニューラルネットワークは、敗血症治療軌道などの実世界の医療データにおいて、どの程度キャリブレーションが不十分な行動方針推定を行うか？
• RQ3 医療分野のOPE設定において、非パラメトリックなkNNモデルは、パラメトリックモデル（例：ニューラルネットワーク）よりもよりキャリブレートされた行動方針推定を達成できるか？
• RQ4 よりキャリブレートされた行動方針モデルを用いることで、平均二乗誤差（MSE）の観点からOPEパフォーマンスが向上するか？
• RQ5 PHWDR推定器における近似モデル（AM）項の支配的影響は、OPEが行動方針のキャリブレーションにどれほど感受的になるかにどのように影響するか？

主な発見

• わずかな行動方針推定誤差（例：平均絶対誤差0.06）ですら、重要度スケーリングを用いたOPE推定において50％を超える分数誤差を引き起こす可能性がある。
• 敗血症分野におけるニューラルネットワークベースの行動方針モデルは、顕著なキャリブレーションの欠如を示しており、過信したおよび誤った確率推定を生じている。
• kNNベースの行動方針モデルは、深層ニューラルネットワークを含む、評価されたすべてのパラメトリックモデルよりも、よりキャリブレートされた推定を達成している。
• PHWISを用いた介入分割条件下で、kNNモデルを行動方針推定に用いることで、OPEのMSEが2.04に低下する一方、ニューラルネットワークを用いると4.65に上昇する。
• PHWDR推定器は、特に介入分割条件下で、近似モデル（AM）項の支配的影響により、行動方針のキャリブレーションにあまり感受性を示さない。
• ランダム分割条件下では、kNNモデルがPHWDRで最小のMSE（2.04）を達成するが、ニューラルネットワークも同程度の性能（3.90）を示し、AM項が強い場合にはキャリブレーション依存性が低下することが示された。