[論文レビュー] Counterfactual Off-Policy Evaluation with Gumbel-Max Structural Causal Models

Michael Oberst, David Sontag|arXiv (Cornell University)|May 14, 2019

Health Systems, Economic Evaluations, Quality of Life被引用数 58

ひとこと要約

本論文は、Gumbel-Max 構造因果モデルを用いて有限POMDPにおける反実仮想オフポリシー評価フレームワークを導入し、学習済み RL ポリシーが観測結果とどこで逸脱する可能性があるかを検査できるように、反実仮想軌道を生成します。高リスクポリシーのデバッグのため、合成敗血症管理環境を用いて手法をデモンストレーションします。

ABSTRACT

We introduce an off-policy evaluation procedure for highlighting episodes where applying a reinforcement learned (RL) policy is likely to have produced a substantially different outcome than the observed policy. In particular, we introduce a class of structural causal models (SCMs) for generating counterfactual trajectories in finite partially observable Markov Decision Processes (POMDPs). We see this as a useful procedure for off-policy "debugging" in high-risk settings (e.g., healthcare); by decomposing the expected difference in reward between the RL and observed policy into specific episodes, we can identify episodes where the counterfactual difference in reward is most dramatic. This in turn can be used to facilitate review of specific episodes by domain experts. We demonstrate the utility of this procedure with a synthetic environment of sepsis management.

研究の動機と目的

• RL ポリシーが観測されたポリシーと著しく異なる結果を生む可能性のあるエピソードを特定するための反実分析の動機づけ。
• 有限POMDPで反実仮想軌道生成を可能にする構造因果モデリングフレームワークの開発。
• 離散的遷移の特定不能性に対処する反実安定性と Gumbel-Max SCM の導入。
• Gumbel-Max SCM の下で反実仮想軌道をサンプリングするモンテカルロ法の提供。
• 手法を合成敗血症管理環境に適用して、デバッグのための introspection 能力を示す。

提案手法

• 反実分解を用いて期待報酬をエピソード間の差異を強調する形で分解。
• カテゴリ変数の反実安定性を定義し、二項の場合の単調性との関係を証明。
• 離散的結果を Gumbel-max サンプリングで生成する Gumbel-Max SCM を導入し、それが反実安定性を満たすことを証明。
• 観測結果を与えた上で Gumbel 変数の後方サンプリングを用いて事後に反実軌道をポストホックで描く方法を示す。
• 介入下の反実の事前推論のための二つの手続き: 拒否サンプリングと、反実のための平移Gumbel分布に基づく抽出法。

実験結果

リサーチクエスチョン

• RQ1 離散的 SCM の下で反実軌道を効率的に生成して、POMDP における RL ポリシーを診断できるか。
• RQ2 反実安定性は identifiability を保証するか、二項ケースの単調性と一致するか。
• RQ3 観測データとターゲットポリシーがあるとき、Gumbel-Max SCM をどのように用いて反実軌道を描くか。
• RQ4 敗血症のような高リスクな RL アプリケーションのデバッグのための反実オフポリシー評価の価値は何か。

主な発見

• 反実分解により、反実軌道を通じて特定のエピソードに対する報酬の差異を帰属させることができる。
• カテゴリ変数の反実安定性を導入し、二項ケースでは単調性を意味する。
• Gumbel-Max SCM は反実安定性を満たし、反実軌道をポストホックにサンプリングできる。
• 反実の事後分布を拒否サンプリングや平移 Gumbel 分布を用いてモンテカルロで描くことができる。
• 敗血症に着想を得た合成環境で、本手法は学習ポリシーに潜む危険な仮定を、オフポリシー推定だけでは見逃しがちな点として暴露する。