[논문 리뷰] Optimal and Adaptive Off-policy Evaluation in Contextual Bandits

Yu-Xiang Wang, Alekh Agarwal외 1명|arXiv (Cornell University)|2016. 12. 04.

Advanced Bandit Algorithms Research참고 문헌 19인용 수 20

한 줄 요약

이 논문은 일致하지 않는 보상 모델이 없는 조건부 밴디트에서 오프-정책 평가를 위한 최초의 최대 최소 최적 하한을 확립하며, 역확률가중치화(IPS) 및 이중으로 강건한(DR) 추정량이 상수 배수 이내로 최대 최소 최적임을 보여준다. 본 논문은 직접 방법(DM)과 DR을 적응적으로 조합하는 스위치 추정량을 제안하여 편향-분산 균형을 더 잘 달성하고, 특히 중요도 가중치의 분산이 높은 경우 기존 방법들보다 실질적으로 뛰어난 성능을 보인다.

ABSTRACT

We study the off-policy evaluation problem---estimating the value of a target policy using data collected by another policy---under the contextual bandit model. We consider the general (agnostic) setting without access to a consistent model of rewards and establish a minimax lower bound on the mean squared error (MSE). The bound is matched up to constants by the inverse propensity scoring (IPS) and doubly robust (DR) estimators. This highlights the difficulty of the agnostic contextual setting, in contrast with multi-armed bandits and contextual bandits with access to a consistent reward model, where IPS is suboptimal. We then propose the SWITCH estimator, which can use an existing reward model (not necessarily consistent) to achieve a better bias-variance tradeoff than IPS and DR. We prove an upper bound on its MSE and demonstrate its benefits empirically on a diverse collection of data sets, often outperforming prior work by orders of magnitude.

연구 동기 및 목표

• 보상 모델이 일致하지 않을 때 조건부 밴디트에서 오프-정책 평가의 통계적 난이도를 규명하는 것.
• 모르는 설정에서 오프-정책 평가의 평균 제곱오차(MSE)에 대한 최대 최소 하한을 유도하는 것.
• 편향과 분산을 더 잘 균형 잡는 데 목적이 있는 적응형 추정량을 설계하는 것.
• 다양한 실세계 데이터셋에서 스위치 추정량의 우수성을 실증적으로 검증하는 것.

제안 방법

• 일관되지 않은 보상 모델이 없는 조건부 밴디트에서 오프-정책 평가의 MSE에 대한 최대 최소 하한을 유도하며, IPS와 DR이 상수 배수 이내로 최적임을 보여준다.
• 중요도 가중치에 따라 직접 방법(DM)과 이중으로 강건한(DR) 추정량을 적응적으로 조합하는 스위치 추정량을 제안한다.
• 임계값 기반 전환 메커니즘을 사용: 중요도 가중치가 임계값 τ를 초과하면 추정량은 DM으로 전환하고, 그렇지 않으면 DR을 사용한다.
• 스위치 추정량의 MSE를 분석하여, 최악의 경우 DR이나 IPS보다 열등하지 않으며, 실질적으로 더 낮은 분산을 달성함을 증명한다.
• 홉핑의 부등식과 KL 발산 경계를 활용하여 경험 평균과 중요도 가중치의 집중도를 제어한다.
• 실세계 다중 클래스 분류 데이터셋을 활용해 방법을 검증하며, 결정론적 및 노이즈 있는 보상을 가진 조건부 밴디트 문제를 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 보상 모델이 일관되지 않을 때 조건부 밴디트에서 오프-정책 평가의 본질적 통계적 한계(최대 최소 위험)는 무엇인가?
• RQ2 IPS 및 DR과 같은 표준 추정량은 모르는 설정에서 최적인가, 아니면 향상시킬 수 있는가?
• RQ3 DM과 DR을 조합하는 적응형 추정량은 기존 방법보다 더 나은 편향-분산 균형을 달성할 수 있는가?
• RQ4 스위치 추정량은 다양한 실세계 데이터셋에서 IPS, DR, DM과 비교해 어떻게 성능을 내는가?

주요 결과

• 모르는 조건부 밴디트 설정에서 오프-정책 평가의 최대 최소 하한은 IPS 및 DR 추정량의 상한과 상수 배수 이내로 일치하며, 이는 이들이 최대 최소 최적임을 증명한다.
• IPS와 DR이 최대 최소 최적임에도 불구하고, 일관되지 않은 파라미터 모델 조건에서도 DR은 항상 IPS보다 낮은 분산을 보이며 실질적으로 더 우수한 성능을 보인다.
• 다양한 실세계 데이터셋에서 스위치 추정량은 DR 및 IPS보다 훨씬 낮은 평균 제곱오차를 달성하며, 경우에 따라 오차가 수 개의 지수 배수로 감소한다.
• 스위치 추정량은 높은 분산을 보이는 중요도 가중치에 대해 강건하며, 데이터에 적응하여 IPS의 불안정성을 피하고 DR의 분산을 개선한다.
• 실증 결과에 따르면, DR은 일반적으로 경쟁력 있는 성능을 보이나, 때로는 DM에 뒤지므로 스위치와 같은 적응형 추정량의 필요성이 부각된다.
• 스위치 추정량의 이론적 MSE 상한은 DR이나 IPS보다 열등하지 않으며, 실질적으로 훨씬 뛰어난 성능을 달성한다.