[논문 리뷰] Counterfactual Off-Policy Evaluation with Gumbel-Max Structural Causal Models

Michael Oberst, David Sontag|arXiv (Cornell University)|2019. 05. 14.

Health Systems, Economic Evaluations, Quality of Life인용 수 58

한 줄 요약

이 논문은 Gumbel-Max 구조적 인과 모형을 이용한 반대사실(off-policy) 평가 프레임워크를 제시하여 유한 POMDP에서 반대사실 트레이젝토리를 생성하고 학습된 강화학습 정책이 관찰된 결과와 어디서 벗어날 수 있는지 검사합니다. 고위험 정책 디버깅을 위한 합성 패혈증 관리 환경으로 방법을 시연합니다.

ABSTRACT

We introduce an off-policy evaluation procedure for highlighting episodes where applying a reinforcement learned (RL) policy is likely to have produced a substantially different outcome than the observed policy. In particular, we introduce a class of structural causal models (SCMs) for generating counterfactual trajectories in finite partially observable Markov Decision Processes (POMDPs). We see this as a useful procedure for off-policy "debugging" in high-risk settings (e.g., healthcare); by decomposing the expected difference in reward between the RL and observed policy into specific episodes, we can identify episodes where the counterfactual difference in reward is most dramatic. This in turn can be used to facilitate review of specific episodes by domain experts. We demonstrate the utility of this procedure with a synthetic environment of sepsis management.

연구 동기 및 목표

• 관찰된 정책과는 다른 결과를 극적으로 낳을 수 있는 에피소드를 식별하기 위해 반대사실 분석의 동기를 부여한다.
• 유한 POMDP에서 반대사실 트라이젝터리 생성을 가능하게 하는 구조적 인과 모형 프레임워크를 개발한다.
• 이산적 전이의 비식별성 문제를 다루기 위해 반대사실 안정성과 Gumbel-Max SCM를 도입한다.
• Gumbel-Max SCM 아래에서 반대사실 트라이젝터리를 샘플링하기 위한 몬테카를로 방법을 제시한다.
• 방법을 합성 패혈증 관리 환경에 적용해 자기성찰 능력을 시연한다.

제안 방법

• 에피소드 간 차이를 부각시키기 위해 기대 보상의 반대사실 분해를 형식화한다.
• 범주형 변수에 대한 반대사실 안정성을 정의하고 이의 이진 경우에서의 단조성과의 관계를 증명한다.
• 이산적 결과가 Gumbel-max 샘플링으로 생성되는 Gumbel-Max SCM를 도입하고 이것이 반대사실 안정성을 만족함을 증명한다.
• 관찰된 결과를 바탕으로 Gumbel 변수의 사후 샘플링을 사용해 반대사실 트라이젝터리를 추출하는 방법을 보인다.
• 사후 추론을 위한 두 가지 절차를 제시한다: 거부 샘플링과 개입하에서 반대사실에 대한 시프트된 Gumbel 기반 샘플링 방법.

실험 결과

연구 질문

• RQ1 범주형 SCM 하에서 반대사실 트라이젝터리를 효율적으로 생성하여 POMDP에서 RL 정책을 진단할 수 있는가?
• RQ2 반대사실 안정성이 식별가능성을 보장하거나 이진 경우의 단조성과 일치하는가?
• RQ3 관찰된 데이터와 목표 정책이 주어졌을 때 Gumbel-Max SCM을 어떻게 사용해 반대사실 트라이젝터리를 도출할 수 있는가?
• RQ4 패혈증 치료와 같은 고위험 RL 응용을 디버깅하기 위한 반대사실 off-policy 평가의 가치는 무엇인가?

주요 결과

• 반대사실 트라이젝터리를 통해 보상 간 차이를 특정 에피소드에 반대사실 트라이젝터리를 통해 귀속시킬 수 있다.
• 반대사실 안정성이 범주형 변수에 대해 도입되었고 이진 경우에는 단조성을 시사한다.
• Gumbel-Max SCM은 반대사실 안정성을 만족시키고 반대사실 트라이젝터리의 사후 샘플링을 가능하게 한다.
• 거절 샘플링으로 또는 시프트된 Gumbel 분포를 사용하여 반대사실에 대한 몬테카를로 사후를 뽑을 수 있다.
• 패혈증에서 영감을 얻은 합성 환경에서 이 방법은 학습된 정책의 위험한 가정을 드러내고 off-policy 추정이 놓칠 수 있다.