[논문 리뷰] Off-Policy Evaluation and Learning for External Validity under a Covariate Shift

Masahiro Kato, Masatoshi Uehara외 1명|arXiv (Cornell University)|2020. 02. 26.

Advanced Causal Inference Techniques참고 문헌 43인용 수 12

한 줄 요약

이 논문은 역사적 데이터와 평가 데이터의 공변량 분포가 다를 때, 즉 공변량 이동 조건 하에서 오프-정책 평가(OPE) 및 오프-정책 학습(OPL)을 위한 이중으로 강건하고 효율적인 추정기들을 제안한다. 비모수적 밀도 비율 추정과 크로스-패딩을 활용하여, 이론적 효율 한계에 도달하고 모델 잘못 설정에 대해서도 강건성을 확보하며, 다양한 데이터셋에서의 실험 평가에서 기존의 OPE 방법들을 능가한다.

ABSTRACT

We consider evaluating and training a new policy for the evaluation data by using the historical data obtained from a different policy. The goal of off-policy evaluation (OPE) is to estimate the expected reward of a new policy over the evaluation data, and that of off-policy learning (OPL) is to find a new policy that maximizes the expected reward over the evaluation data. Although the standard OPE and OPL assume the same distribution of covariate between the historical and evaluation data, a covariate shift often exists, i.e., the distribution of the covariate of the historical data is different from that of the evaluation data. In this paper, we derive the efficiency bound of OPE under a covariate shift. Then, we propose doubly robust and efficient estimators for OPE and OPL under a covariate shift by using a nonparametric estimator of the density ratio between the historical and evaluation data distributions. We also discuss other possible estimators and compare their theoretical properties. Finally, we confirm the effectiveness of the proposed estimators through experiments.

연구 동기 및 목표

• 역사적 데이터와 평가 데이터가 서로 다른 공변량 분포를 가질 때 발생하는 오프-정책 평가 및 학습의 과제를 해결하기 위해.
• 공변량 이동 조건 하에서 OPE의 효율 한계를 도출하여, 추정 정확도에 대한 이론적 하한을 설정하기 위해.
• 효율적(효율 한계에 도달)이면서도 이중으로 강건(밀도 비율 또는 행동 정책 모델 중 하나만 올바르게 지정되어도 일致)인 추정기를 개발하기 위해.
• Donsker 조건을 요구하지 않고 모델 잘못 설정에 대한 강건성을 확보하기 위해 추정 절차에서 크로스-패딩을 사용하기 위해.
• 다양한 실세계 데이터셋에서 제안된 추정기를 경험적으로 검증하여 기존의 표준 OPE 방법들보다 뛰어난 성능을 보여주기 위해.

제안 방법

• 공변량 이동 조건 하에서 OPE의 효율 한계를 유도하여, 임의의 정규 추정기의 이론적 최소 분산을 정의한다.
• 비모수적 밀도 비율 추정(카나모리 외, 2012)과 역확률가중법 및 결과 회귀를 조합한 이중으로 강건하고 효율적인 추정기(DRCS)를 제안한다.
• 비모수적 밀도 비율 추정기의 Donsker 유형 조건을 완화하기 위해 크로스-패딩을 적용하여 고차원 또는 복잡한 설정에서의 강건성을 향상시킨다.
• 평가 데이터와 역사적 데이터 분포 간의 밀도 비율을 비모수적으로 추정하여 공변량 이동을 보정한다.
• 추정된 밀도 비율을 이중으로 강건한 OPE 프레임워크에 통합하여, 행동 정책 또는 조건부 결과 모델 중 하나만 올바르게 지정되어도 일관성을 확보한다.
• 효율적 OPE 추정기를 정책 최적화의 서브스티튜트 목표로 사용하여 프레임워크를 오프-정책 학습으로 확장한다.

실험 결과

연구 질문

• RQ1 공변량 이동 조건 하에서 오프-정책 평가의 이론적 효율 한계는 무엇인가?
• RQ2 공변량 이동 조건 하에서 효율적이고 이중으로 강건한 OPE 추정기를 구성할 수 있는가?
• RQ3 강력한 기능 제약 조건에 의존하지 않고 공변량 이동 조건 하에서 OPE의 모델 잘못 설정에 대한 강건성을 어떻게 확보할 수 있는가?
• RQ4 공변량 이동은 기존의 OPE 방법에 어떤 영향을 미치며, 제안된 방법은 이를 어떻게 완화하는가?
• RQ5 제안된 OPE 프레임워크는 공변량 이동 조건 하에서 오프-정책 학습으로 효과적으로 확장될 수 있는가?

주요 결과

• 제안된 DRCS 추정기는 비모수적 추정기의 약한 비율 조건 하에서 효율 한계에 도달하여 최적의 추정 정밀도를 보장한다.
• DRCS 추정기는 이중으로 강건하다: 밀도 비율 또는 행동 정책 모델 중 하나만 올바르게 지정되어도 일관성이 유지된다.
• SatImage, Vehicle, PenDigits 데이터셋에서의 경험 결과, DRCS는 IPW, DM, IPW-R와 같은 표준 OPE 방법들보다 평균 제곱오차(MSE)를 크게 감소시킨다.
• 오프-정책 학습에서는 DRCS 기반 정책가 기존 기준 방법들을 능가하여 더 높은 기대 보상(예: 0.7πd+0.3πu 행동 정책 하에서 0.683 RWD 대 IPW의 0.241)을 달성한다.
• 샘플 분할을 사용하는 DRCS-SN 변형은 다양한 데이터셋과 표본 크기에서 안정적인 성능을 보이며 크로스-패딩의 효과를 확인한다.
• 다양한 행동 정책와 평가 데이터 분포에서도 일관된 성능을 보여 이에 따라 공변량 이동을 효과적으로 다루고 있음을 입증한다.