[論文レビュー] Representation Balancing MDPs for Off-Policy Policy Evaluation

Yao Liu, Omer Gottesman+5 more|arXiv (Cornell University)|May 23, 2018

Advanced Causal Inference Techniques参考文献 25被引用数 8

ひとこと要約

本稿では、表現のバランスを取ることで有限標本一般化誤差を最小化するモデルベースのオフポリシー方策評価手法であるRepresentation Balancing MDPs (RepBM)を提案する。IPMに基づく損失関数を用いて表現をバランスさせる。合成データおよびHIV治療ベンチマークにおいて、特に決定的ポリシー設定下での個別方策値推定において、最先端手法と比較して顕著に低いMSEを達成する。

ABSTRACT

We study the problem of off-policy policy evaluation (OPPE) in RL. In contrast to prior work, we consider how to estimate both the individual policy value and average policy value accurately. We draw inspiration from recent work in causal reasoning, and propose a new finite sample generalization error bound for value estimates from MDP models. Using this upper bound as an objective, we develop a learning algorithm of an MDP model with a balanced representation, and show that our approach can yield substantially lower MSE in common synthetic benchmarks and a HIV treatment simulation domain.

研究の動機と目的

• 行動ポリシーと評価ポリシーが著しく異なる場合に生じる順序付き意思決定におけるオフポリシー方策評価（OPPE）の課題に対処すること。
• 平均方策値（APV）ではなく、医療分野などのパーソナライズドアプリケーションにおいて極めて重要な個別方策値（IPV）の推定精度を向上させること。
• データ分布シフトを考慮した有限標本一般化誤差バウンドを理論的に裏付けられたものとして開発すること。
• このバウンドを活用して、分布シフトに強く耐性を持つ表現を学習するモデルベースのOPPE手法を設計すること、特に決定的評価ポリシーに特化すること。
• 特に低重複および高ホライズン設定下で、平均二乗誤差（MSE）の観点から、既存のISベースおよびモデルベース手法を上回ること。

提案手法

• 行動ポリシーと評価ポリシー間の分布シフトを明示的に考慮した、価値推定のための新しい有限標本一般化誤差バウンドを導入する。
• このバウンドに基づく損失関数を定式化し、状態の表現における行動ポリシーと評価ポリシーのバランスを取るために積分確率距離（IPM）を用いる。
• モデルは、行動ポリシーと評価ポリシーの状態表現間のIPMを最小化するように学習され、評価ポリシーの分布に一般化しやすいよう促進される。
• 本手法は、臨床意思決定などの実世界の応用で一般的な決定的評価ポリシーに適用可能である。
• ハイパーパramータ（IPM重み係数α）のチューニングのための検証セットを用い、異なるドメインにわたる堅牢な性能を確保する。
• 既存のモデルベース推定器（DRやWDR）と統合され、RepBM-DRおよびRepBM-WDRという変種が得られ、ベースライン性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 状態表現における分布シフトを明示的に考慮することで、既存のISおよびDRベース手法と比較して、有限標本誤差を低く抑えたモデルベースOPPE手法が達成可能か？
• RQ2 IPMによる表現バランスは、標準的なMLEやISベースモデルと比較して、個別方策値推定の精度をどのように向上させるか？
• RQ3 IPMハイパーパramータαが、異なるホライズンおよびポリシー重複レームワーク下でのモデル性能に与える影響は何か？
• RQ4 行動ポリシーと評価ポリシーの軌道が著しく分離する高ホライズン設定下でも、本手法は低誤差を維持できるか？
• RQ5 本手法は、合成環境および実世界の医療シミュレーション環境において、MRDR、WMRDR、PSISといった最先端ベースラインを上回るか？

主な発見

• 長ホライズンCartPoleドメインにおいて、RepBMは平均方策値で0.389、個別方策値で1.023のルートMSEを達成し、IS（149.7および152.2）およびPSIS（108.6および2334）を顕著に上回った。
• HIV治療シミュレーションでは、RepBMは平均値で0.248、個別値で8.075のルートMSEを達成し、WIS（0.505および93.86）およびSoft WIS（0.380および70.55）を上回った。
• 長ホライズンおよび低ポリシー重複環境においても頑健性を示し、αを0から1に増加させると性能が向上し、α=1でピークに達した後、α=10で劣化した。
• RepBM-DRおよびRepBM-WDR変種は、すべてのベンチマークでベースラインと比較して低いMSEを達成し、表現バランスの有効性を示した。
• アブレーションスタディにより、IPMに基づく損失が不可欠であることが確認された。α=0（バランスなし）に設定した場合、特に個別値推定で誤差が高くなった。
• MRDR、WMRDR、Soft WMRDRは、特にHIVドメインで高い分散と不安定性を示したが、本手法はそれらを上回った。