[논문 리뷰] Policy Evaluation and Optimization with Continuous Treatments

Nathan Kallus, Angela Zhou|arXiv (Cornell University)|2018. 02. 16.

Advanced Causal Inference Techniques참고 문헌 3인용 수 43

한 줄 요약

이 논문은 커널 기반 역 Propensity 가중치를 이용한 연속 처치에 대한 오프 폴리시 평가와 정책 학습을 확장하고, 바이어스/분산 결과와 일관성을 확립하며, Warfarin 용량 결정 사례 연구를 통해 연속 정책 최적화(CPO)를 시연한다. 커널화된 OPE가 최고 수준의 정책으로 수렴하고 이산화 벤치마크를 능가함을 보인다.

ABSTRACT

We study the problem of policy evaluation and learning from batched contextual bandit data when treatments are continuous, going beyond previous work on discrete treatments. Previous work for discrete treatment/action spaces focuses on inverse probability weighting (IPW) and doubly robust (DR) methods that use a rejection sampling approach for evaluation and the equivalent weighted classification problem for learning. In the continuous setting, this reduction fails as we would almost surely reject all observations. To tackle the case of continuous treatments, we extend the IPW and DR approaches to the continuous setting using a kernel function that leverages treatment proximity to attenuate discrete rejection. Our policy estimator is consistent and we characterize the optimal bandwidth. The resulting continuous policy optimizer (CPO) approach using our estimator achieves convergent regret and approaches the best-in-class policy for learnable policy classes. We demonstrate that the estimator performs well and, in particular, outperforms a discretization-based benchmark. We further study the performance of our policy optimizer in a case study on personalized dosing based on a dataset of Warfarin patients, their covariates, and final therapeutic doses. Our learned policy outperforms benchmarks and nears the oracle-best linear policy.

연구 동기 및 목표

• 연속 처치 공간의 이산적 행동 공간을 넘어선 오프-정책 평가 및 최적화의 필요성을 동기화한다.
• 배치 관찰 데이터를 사용하여 정책을 평가하기 위한 커널 스무딩 IPW/DR 추정기를 개발한다.
• 일관성과 최적 대역폭을 수립하기 위해 바이어스, 분산, 평균제곱오차를 분석한다.
• 연속 정책 최적화의 일관성을 증명하고 제한된 정책 클래스 내에서 최고 성능 정책으로의 수렴을 시연한다.

제안 방법

• 연속 처치를 위한 일반화된 propensity score를 정의하고, 연속 행동에 대한 IPW의 거부 샘플링을 커널로 완화한다.
• 제안된 연속처치 오프 정책 평가자 hat{v}_{tau} = (1/(n h)) sum_i K((tau(x_i) - t_i)/h) * (y_i / Q_i) 를 제시한다.
• 분산을 줄이기 위해 hat{v}_{tau}^{norm}라는 자기 정규화 변형을 도입한다.
• 표준 가정 하에서 바이어스, 분산, 및 MSE 결과를 도출하고 점근적으로 최적 대역폭 h* = Theta(n^{-1/5})를 식별한다.
• 정책 클래스를 대상으로 가중된 경험적 위험 최소화로서 연속 정책 최적화를 형식화하고(비볼록성, 임의 재시작 등) 실용적 최적화를 논의한다.

실험 결과

연구 질문

• RQ1 치료가 이산적이기보다 연속적일 때 배치 관찰 데이터로 정책을 추정하고 최적화할 수 있는가?
• RQ2 연속 오프-정책 평가의 커널 기반 추정기의 바이어스와 분산 특성은 무엇이며 대역폭은 어떻게 선택해야 하는가?
• RQ3 제안된 연속 정책 최적화가 제한된 정책 클래스 내에서 최고의 성능 정책으로 수렴하는가?
• RQ4 특히 의료 용량 결정 설정에서 이산화 벤치마크 및 직접 방법과 비교할 때 커널화된 연속 OPE의 실제 성능은 어떠한가?
• RQ5 Warfarin 용량 결정 사례 연구에서 개인화 및 정책 성능에 대한 어떤 통찰이 도출되는가?

주요 결과

• 연속 처치를 포함하는 커널화된 오프-폴리시 평가자는 표준 인과 가정(비확정성 및 공통 지지)을 만족할 때 일관성을 가진다.
• 추정자의 바이어스는 O(h^2)이고 분산은 O(1/(n h))로, 최적 대역폭 h* = Theta(n^{-1/5})를 도출한다.
• 추정기의 자기 정규화 버전은 일관성을 유지하면서 분산을 감소시킬 수 있다.
• 연속 OPE를 이용한 정책 최적화는 제시된 클래스(예: 선형 정책) 내에서 최고 성능 정책에 비해 후생손실이 제로로 수렴하는 것을 달성한다.
• 합성 데이터 및 Warfarin 용량 결정에 대한 실험 결과는 연속 접근 방식이 이산화 벤치마크를 능가하고 최적의 선형 정책에 근접함을 보여준다.