[논문 리뷰] Off-policy Policy Evaluation For Sequential Decisions Under Unobserved Confounding

Hongseok Namkoong, Ramtin Keramati외 2명|arXiv (Cornell University)|2020. 03. 12.

Health Systems, Economic Evaluations, Quality of Life참고 문헌 55인용 수 18

한 줄 요약

이 논문은 잠재적 혼동요인이 존재하는 순차적 의사결정 환경에서의 강건한 오프-폴리시 평가(OPE) 방법을 제안한다. 특히 잠재적 혼동요인이 영향을 주는 결정이 하나뿐인 경우에 초점을 맞춘다. 기능적 볼록 쌍대성과 손실 최소화 절차를 사용하여 통계적으로 일致하는 최악의 성능 경계를 계산함으로써, 표준 OPE 방법이 잠재적 요인에 의해 편향될 수 있는 상황에서도 신뢰할 수 있는 정책 평가가 가능하다.

ABSTRACT

When observed decisions depend only on observed features, off-policy policy evaluation (OPE) methods for sequential decision making problems can estimate the performance of evaluation policies before deploying them. This assumption is frequently violated due to unobserved confounders, unrecorded variables that impact both the decisions and their outcomes. We assess robustness of OPE methods under unobserved confounding by developing worst-case bounds on the performance of an evaluation policy. When unobserved confounders can affect every decision in an episode, we demonstrate that even small amounts of per-decision confounding can heavily bias OPE methods. Fortunately, in a number of important settings found in healthcare, policy-making, operations, and technology, unobserved confounders may primarily affect only one of the many decisions made. Under this less pessimistic model of one-decision confounding, we propose an efficient loss-minimization-based procedure for computing worst-case bounds, and prove its statistical consistency. On two simulated healthcare examples---management of sepsis patients and developmental interventions for autistic children---where this is a reasonable model of confounding, we demonstrate that our method invalidates non-robust results and provides meaningful certificates of robustness, allowing reliable selection of policies even under unobserved confounding.

연구 동기 및 목표

• 순차적 의사결정에 대한 오프-폴리시 평가(OPE)에서 숨겨진 변수가 결정과 결과에 영향을 주는 잠재적 혼동의 심각한 문제를 해결하기 위해, 표준 OPE 방법이 숨겨진 변수로 인해 실패하는 상황을 다루는 것.
• 단일 결정에만 영향을 주는 잠재적 혼동요인이 OPE 추정치에 미치는 영향을 정량화하는 민감도 분석 프레임워크를 개발하는 것.
• 제한된 잠재적 혼동이 존재하는 상황에서 평가 정책의 성능에 대해 통계적으로 일치하는 계산 가능한 최악의 경우 경계를 제공함으로써, 혼동이 존재하는 상황에서도 신뢰할 수 있는 정책 선택이 가능하도록 하는 것.
• 혈관내 감염 관리 및 자폐 스펙트럼 장애 치료와 같은 실제 의료 응용 분야에서 본 방법의 실용적 유용성을 입증하는 것. 이들 분야에서는 혼동이 발생할 수 있으나, 일반적으로 하나의 결정 포인트에 국한된다.
• 볼록 쌍대성과 중요도 샘플링을 활용하여 기존의 단일 결정 혼동 모델을 순차적 설정으로 확장함으로써, 계산 가능성이 확보되고 이론적으로 일致하는 결과를 도출하는 것.

제안 방법

• 단일 결정에만 잠재 변수가 영향을 주는 제한된 잠재적 혼동 모델을 제안하며, 전체 시퀀스에 영향을 주는 것보다 더 낙관적인 가정이다.
• 기능적 볼록 쌍대성을 사용하여 최악의 성능 추정 문제의 이중 타구를 유도함으로써, 볼록 최적화 문제로 변환한다.
• 신경망과 역전파를 사용하여 가중 제곱 손실 최소화 문제를 해결함으로써 최악의 경우 경계를 계산하는 손실 최소화 기반 절차를 개발한다.
• 중요도 샘플링을 활용하여 관측된 특징을 보정하고, 경계가 관측된 행동 정책에 캘리브레이션되도록 하여 관측 데이터와의 일致성을 유지한다.
• 손실 최소화 목표를 추정하기 위해 4층의 ReLU 신경망과 Adam 최적화를 사용하며, 관측된 혼동요소가 없는 경우 행동 정책의 마진화된 모델을 위해 로지스틱 회귀를 사용한다.
• 최악의 경우 경계 추정기의 경험적 근사의 통계적 일치성을 증명하여, 표본 크기가 증가함에 따라 수렴함을 보장한다.

실험 결과

연구 질문

• RQ1 특히 시퀀스의 하나의 결정에만 영향을 주는 잠재적 혼동이 표준 오프-폴리시 평가(OPE) 방법의 신뢰성에 어떤 영향을 미치는가?
• RQ2 제한된 잠재적 혼동이 존재하는 순차적 의사결정 환경에서, 평가 정책의 최악의 성능 경계를 계산할 수 있는가?
• RQ3 실제 의료 응용 분야에서 본 방법이 잠재적 혼동에 대해 OPE 결과의 강건성을 얼마나 잘 인증할 수 있는가?
• RQ4 본 방법은 잠재적 혼동이 존재할 때 정책 우월성을 감지할 수 있는 능력과 설계 민감도 측면에서 나태한 민감도 분석보다 어떻게 비교되는가?
• RQ5 잠재적 혼동이 존재하는 상황에서 최악의 경우 경계를 계산하기 위한 제안된 손실 최소화 절차의 통계적 일치성은 어떠한가?

주요 결과

• 혈관내 감염 관리 시뮬레이션에서 표준 OPE는 경미한 혼동(Γ=2.0) 상황에서 적응형 정책의 성능을 최대 20% 과대평가하였다. 이는 잘못된 정책 우월성을 암시한다.
• 제안된 방법은 Γ=2.0일지라도 OPE 추정치가 허용 가능한 수준을 초과해 편향될 수 있음을 감지하여, 잠재적 혼동이 존재할 경우 표준 OPE 기반 결론이 무효화됨을 입증하였다.
• 두 번째 시나리오에서는 진정으로 우월한 적응형 정책이 존재했으며, 본 방법은 Γ=4.2까지 그 이점을 인증하였다. 이는 비현실적인 수준의 혼동에 대해서도 강건함을 보였다.
• 제안된 방법의 설계 민감도는 Γ=2.78에 도달하였으며, 이는 나태한 방법(Γ=1.32)에 비해 유의미하게 높아, 혼동이 존재하는 상황에서도 정책 성능을 검증할 수 있는 능력이 뛰어나다는 것을 시사한다.
• 본 방법은 실제로는 반대로 성능이 떨어지는 비적응형 정책가 OPE에서 적응형 정책에 의해 잘못 평가될 수 있음을 성공적으로 식별하였다. 이는 잠재적 혼동이 존재할 경우 발생하는 문제를 잘 반영한다.
• 경험적 결과는 손실 최소화 절차가 중간 수준의 수평에서 고차원 연속 상태 및 보상 공간에서 일관되고 효과적이라는 것을 보여주었다.