[논문 리뷰] Behaviour Policy Estimation in Off-Policy Policy Evaluation: Calibration Matters

Aniruddh Raghu, Omer Gottesman외 5명|arXiv (Cornell University)|2018. 07. 03.

Advanced Causal Inference Techniques참고 문헌 7인용 수 24

한 줄 요약

이 논문은 헬스케어 분야에서 오프-정책 정책 평가(OPE)를 위한 행동 정책 추정의 행동에 대해 조사하며, 모델 校정이 OPE 정확도에 결정적으로 영향을 미친다는 것을 입증한다. 실제 세프시스 데이터셋을 사용하여, 깊은 신경망보다 단순한 k-최근접 이웃(kNN) 모델이 더 잘 校정된 행동 정책 추정을 제공함으로써 중요도 샘플링 기반 OPE 결과의 정확도가 크게 향상됨을 보여준다.

ABSTRACT

In this work, we consider the problem of estimating a behaviour policy for use in Off-Policy Policy Evaluation (OPE) when the true behaviour policy is unknown. Via a series of empirical studies, we demonstrate how accurate OPE is strongly dependent on the calibration of estimated behaviour policy models: how precisely the behaviour policy is estimated from data. We show how powerful parametric models such as neural networks can result in highly uncalibrated behaviour policy models on a real-world medical dataset, and illustrate how a simple, non-parametric, k-nearest neighbours model produces better calibrated behaviour policy estimates and can be used to obtain superior importance sampling-based OPE estimates.

연구 동기 및 목표

• 실제 헬스케어 응용 분야에서 행동 정책 추정 품질이 오프-정책 정책 평가(OPE) 정확도에 미치는 영향을 조사하는 것.
• 특히 의료 결정 부문에서 관찰 데이터의 행동 정책이 알려져 있지 않은 문제를 해결하는 것.
• 비모수적 모델인 kNN가 신경망과 같은 강력한 모수적 모델보다 더 잘 校정된 행동 정책 추정을 생성할 수 있는지 평가하는 것.
• 개선된 행동 정책 모델의 校정이 중요도 샘플링 기반 OPE 추정의 정확도 향상에 기여함을 입증하는 것.
• 자원이 제한된 실제 도메인에서 OPE 성능을 향상시키는 실용적이고 신뢰할 수 있는 행동 정책 추정 방법을 제공하는 것.

제안 방법

• 실제 세프시스 데이터셋에서 k-최근접 이웃(kNN), 신경망(NN), 기타 모수적 모델을 사용하여 행동 정책 추정을 실증적으로 평가한다.
• 오프-정책 가치 평가에 Per-Horizon Weighted Importance Sampling(PHWIS) 및 Per-Horizon Weighted Doubly Robust(PHWDR) 추정기를 사용한다.
• 각 경로에서 추정된 행동 정책 확률과 진짜 행동 정책 확률 간 평균 절대 오차를 통해 校정을 평가한다.
• 부트스트랩 샘플링을 통한 안정성 확보를 고려하여, 추정된 값과 정책 내 값 간 평균 제곱오차(MSE)를 사용해 OPE 성능을 비교한다.
• 실제 정책 평가 시나리오를 시뮬레이션하기 위해 데이터를 무작위 분할 및 간섭 기반 분할으로 나눈다.
• PHWDR 추정기의 분산을 줄이기 위해 랜덤 포레스트를 사용한 Fitted-Q 반복을 통해 행동가치 함수를 추정한다.

실험 결과

연구 질문

• RQ1 통제된 네비게이션 도메인에서 추정된 행동 정책의 校정이 오프-정책 정책 평가(OPE) 정확도에 어떤 영향을 미치는가?
• RQ2 세프시스 치료 경로와 같은 실제 의료 데이터에서 딥 뉴럴 네트워크가 얼마나 심각한 校정 오차를 보이는가?
• RQ3 의료 OPE 환경에서 비모수적 kNN 모델이 모수적 모델(예: 신경망)보다 더 잘 校정된 행동 정책 추정을 생성할 수 있는가?
• RQ4 더 잘 校정된 행동 정책 모델을 사용할 경우, 평균 제곱오차(MSE) 기준으로 OPE 성능이 향상되는가?
• RQ5 PHWDR 추정기에서 근사 모델(AM) 항목의 지배적 영향이 행동 정책 校정에 대한 OPE 민감도에 어떤 영향을 미치는가?

주요 결과

• 작은 행동 정책 추정 오차(예: 평균 절대 오차 0.06)라도 중요도 샘플링 기반 OPE 추정에서 50퍼센트 이상의 분수 오차를 유발할 수 있다.
• 세프시스 영역에서 신경망 기반 행동 정책 모델은 과신 및 잘못된 확률 추정을 포함해 심각한 校정 오차를 보인다.
• kNN 기반 행동 정책 모델은 깊은 신경망을 포함한 모든 평가된 모수적 모델보다 더 잘 校정된 추정을 제공한다.
• PHWIS를 사용한 간섭 기반 분할 조건에서, kNN 모델을 사용한 OPE의 MSE는 2.04이며, 신경망을 사용한 경우 4.65로 더 낮다.
• PHWDR 추정기는 특히 간섭 기반 분할에서 근사 모델(AM) 항목의 지배적 영향으로 인해 행동 정책의 校정에 덜 민감하다.
• 무작위 분할 조건에서는 kNN 모델이 PHWDR에서 가장 낮은 MSE(2.04)를 기록했고, 신경망은 유사한 성능(3.90)을 보였으며, 이는 AM 항목이 강력할 경우 校정 의존도가 감소함을 시사한다.