[논문 리뷰] Confident Off-Policy Evaluation and Selection through Self-Normalized Importance Weighting

Ilja Kuzborskij, Claire Vernade외 2명|arXiv (Cornell University)|2020. 06. 18.

Advanced Causal Inference Techniques참고 문헌 29인용 수 10

한 줄 요약

이 논문은 자기정규화 중요도 가중치(SN)를 사용하여 문맥 밴드잇에서 오프-폴리시 평가를 위한 새로운 고확률 하한을 제안한다. 이 방법은 반경험적 Efron-Stein 꼬리 부등식과 곱셈형 편향 제어를 조합하여, 중복된 중요도 가중치가 존재하는 상황에서도 타당한 신뢰구간을 확보한다. 제안된 방법은 합성 및 실세계 데이터셋에서 최신 기술 대비 더 좁은 신뢰구간과 뛰어난 정책 선택 성능을 달성한다.

ABSTRACT

We consider off-policy evaluation in the contextual bandit setting for the purpose of obtaining a robust off-policy selection strategy, where the selection strategy is evaluated based on the value of the chosen policy in a set of proposal (target) policies. We propose a new method to compute a lower bound on the value of an arbitrary target policy given some logged data in contextual bandits for a desired coverage. The lower bound is built around the so-called Self-normalized Importance Weighting (SN) estimator. It combines the use of a semi-empirical Efron-Stein tail inequality to control the concentration and a new multiplicative (rather than additive) control of the bias. The new approach is evaluated on a number of synthetic and real datasets and is found to be superior to its main competitors, both in terms of tightness of the confidence intervals and the quality of the policies chosen.

연구 동기 및 목표

• 제한된 로그 데이터에서 신뢰할 수 있는 오프-폴리시 평가 및 정책 선택의 과제를 해결한다.
• 중복된 중요도 가중치가 존재하는 상황에서도 여전히 타당한 신뢰구간을 유지하는 타겟 정책의 가치에 대한 고확률 하한을 개발한다.
• 오프-폴리시 추정에서 편향과 분산을 동시에 제어하는 신뢰구간을 제공함으로써 정책 선택의 강건성을 향상시킨다.
• 표준 중요도 가중치와 역확률 가중치 평가의 한계를 극복하여, 행동 정책와 타겟 정책 간의 불일치 상황에서도 성능을 유지를 한다.
• 개인화된 의료 및 온라인 광고와 같은 실세계 응용 분야에서 오프-폴리시 선택의 실용적 구현을 가능하게 한다.

제안 방법

• 모든 모멘트가 유한해지도록 분산을 안정화하는 핵심 추정기로 자기정규화 중요도 가중치(SN)를 활용한다.
• SN 추정기의 꼬리 농도를 제어하기 위해 반경험적 Efron-Stein 부등식을 도입한다.
• 유한표본 성능 향상을 위해 덧셈형 편향 제어 대신 곱셈형 편향 보정을 적용한다.
• SN 추정을 기반으로 타겟 정책의 가치에 대한 유한표본 고확률 하한을 유도한다.
• 신뢰구간을 校정하기 위해 경험적 우도와 모멘트 생성 함수 기법을 사용한다.
• 다양한 데이터셋에서의 강건성을 향상시키기 위해 깁스-피팅을 활용해 하이퍼파rameter를 조정한다.

실험 결과

연구 질문

• RQ1 중복된 중요도 가중치가 존재하는 상황에서도 타당한 신뢰구간을 유지하는 오프-폴리시 평가를 위한 고확률 하한을 구성할 수 있는가?
• RQ2 SN 추정에서 곱셈형 편향 제어가 유한표본 성능 측면에서 덧셈형 편향 보정보다 어떻게 비교되는가?
• RQ3 제안된 방법이 기존 오프-폴리시 평가 기준 대비 정책 선택 정확도와 신뢰구간의 좁힘 정도에서 뛰어난 성능을 보일 수 있는가?
• RQ4 반경험적 Efron-Stein 부등식은 실질적으로 SN 추정기의 농도 제어에 얼마나 효과적인가?
• RQ5 행동 정책와 타겟 정책 간의 불일치 정도가 다양한 실세계 및 합성 데이터셋에서 강건성을 유지하는가?

주요 결과

• 제안된 방법은 모든 데이터셋에서 평가된 모든 기준 대비 가장 좁은 신뢰구간을 확보했으며, SN에 대한 ESLB(Efron-Stein Lower Bound)는 항상 대안보다 뛰어난 성능을 보였다.
• Letter 데이터셋에서 깁스-피팅된 SN에 대한 ESLB는 0.997 ± 0.004의 커버리지율을 기록했으며, 이는 실제 커버리지 품질 측면에서 이상적 기준(0.903 ± 0.013)을 크게 능가했다.
• kropt 데이터셋에서는 체브- SN 추정기와 깁스-피팅된 SN이 0.840 ± 0.053의 값을 기록하여 고차원 환경에서도 뛰어난 성능을 보였다.
• 모든 타겟 정책에 대해 가치 추정의 평균제곱오차가 가장 낮아, 모든 경쟁자 대비 정책 선택에서 뛰어난 성능을 보였다.
• 곱셈형 편향 제어는 특히 고분산 환경에서 덧셈 보정 대비 더 안정적이고 정확한 구간을 제공함으로써 성능 향상을 이끌었다.
• 실험 결과, ESLB를 적용한 SN 기반 추정기는 행동 정책와 타겟 정책 간 불일치가 존재하는 상황에서도 근사적으로 이상적인 커버리지(예: OptDigits에서 0.999 ± 0.002)를 달성했다.