[논문 리뷰] Empirical Likelihood for Contextual Bandits

Nikos Karampatziakis, John Langford외 1명|arXiv (Cornell University)|2019. 06. 07.

Advanced Bandit Algorithms Research참고 문헌 34인용 수 5

한 줄 요약

이 논문은 구조적 밴디트에서 오프-정책 평가를 위한 경험적 우도(EL) 기반 추정기와 신뢰구간을 제안하며, 초모수 조정 없이 더 날카운 신뢰구간을 가능하게 한다. 이 방법은 추정과 신뢰구간을 볼록 최적화 문제로 공식화하여 유한 표본 성능을 향상시키고, 보다 강력한 정책 최적화 알고리즘을 도출한다. 이 알고리즘은 보상 신뢰구간의 하한을 최대화하여 강력한 벤치마크를 초월한다.

ABSTRACT

We propose an estimator and confidence interval for computing the value of a policy from off-policy data in the contextual bandit setting. To this end we apply empirical likelihood techniques to formulate our estimator and confidence interval as simple convex optimization problems. Using the lower bound of our confidence interval, we then propose an off-policy policy optimization algorithm that searches for policies with large reward lower bound. We empirically find that both our estimator and confidence interval improve over previous proposals in finite sample regimes. Finally, the policy optimization algorithm we propose outperforms a strong baseline system for learning from off-policy data.

연구 동기 및 목표

• 유한 표본에서 명목 수준의 커버리지 유지 보장이 가능한 신뢰할 수 있는 비모수적 신뢰구간을 제안한다.
• 경험적 우도를 사용하여 초모수적 가정 없이 추정 오차가 매우 낮고 증명 가능하게 낮은 편향을 갖는 계산 효율적인 추정기를 개발한다.
• 신뢰구간 하한을 활용하여 오프-정책 데이터로부터 강력한 학습을 가능하게 하는 정책 최적화 알고리즘을 설계한다.
• IPS, SNIPS 및 가우시안 근사와 같은 기존 방법보다 더 좁고 경험적으로 타당한 신뢰구간을 제공함으로써 기존 방법을 향상시킨다.
• 신뢰구간 하한을 최대화하는 것이 점추정값을 단독으로 최대화하는 것보다 더 우수한 일반화 성능을 이끌어낼 수 있음을 보여준다.

제안 방법

• 오프-정책 데이터를 무한한 카테고리를 가진 다항분포로 모델링하여, 비모수적 우도 추정이 가능하도록 경험적 우도(EL)를 적용한다.
• 단일 스칼라에 대한 이분법 검색을 통해 계산적으로 구현 가능한 추정기를 유도하며, 낮은 편향과 渐近 일致성을 보장한다.
• 유한한 수의 가능한 데이터 생성 세계를 고려하는 볼록 최적화 문제를 해결하여 신뢰구간을 구성함으로써 강력한 커버리지 보장을 확보한다.
• 표준 EL 구현 대비 시간 복잡도를 log(1/ε) 배 감소시키는 새로운 알고리즘을 도입하여 직접적으로 신뢰구간을 계산한다.
• 신뢰구간 하한을 최대화하는 분포로 강건한 학습 목표를 제안하며, 이는 강건 최적화 원리와 연결된다.
• 정책 학습을 위한 블랙박스 오라클로 Vowpal Wabbit를 사용하며, 이중 변수 갱신과 중요도 가중치를 이중 변수에서 유도한 정책 최적화를 번갈아 수행한다.

실험 결과

연구 질문

• RQ1 경험적 우도는 구조적 밴디트에서 오프-정책 평가에 대해 좁고 경험적으로 타당한 유한 표본의 신뢰구간을 제공할 수 있는가?
• RQ2 제안된 EL 기반 추정기는 IPS, SNIPS 및 기타 추정기와 비교해 편향과 평균제곱오차 측면에서 어떻게 성능을 내는가?
• RQ3 신뢰구간 하한을 최대화하는 것이 점추정값을 단독으로 최대화하는 것보다 더 나은 정책 학습을 이끌어낼 수 있는가?
• RQ4 표본 크기가 최대 중요도 가중치와 유사할 때, EL 기반 신뢰구간이 다양한 데이터 제약 조건에서도 명목 커버리지 수준을 유지하는가?
• RQ5 정책 학습 향상의 정도는 분포로 강건성의 영향인지, 아니면 추정기 자체의 품질 때문인가?

주요 결과

• 제안된 EL 기반 신뢰구간은 95% 명목 수준에서 평균 97.5%의 경험적 커버리지 수준을 달성하며, 이는 이항분포 기반 CI(99.6%)와 渐近 정규분포 기반 CI(91.2%)보다 우수하다. 이는 과다 또는 과소 커버리지 문제를 야기한다.
• EL 기반 신뢰구간은 이항분포 기반 CI보다 유의미하게 좁으며, 중앙값 너비 비율이 2.89에 이르며, 표본 크기가 최대 중요도 가중치와 유사할 때에도 좁은 너비를 유지한다.
• 신뢰구간 하한을 기반으로 한 정책 최적화 알고리즘이 40개 데이터셋 중 16개에서 강력한 벤치마크를 초월하며, 대응 t-검정에서 18승 6패를 기록하여 통계적으로 유의미한 성능 향상을 보였다.
• EL 추정기만을 사용하는 것은 벤치마크 대비 중간 정도의 성능 향상을 이끌어내지만, 하한 기반 학습 목표는 훨씬 더 나은 성능을 제공함으로써 분포로 강건성이 핵심 요소임을 입증한다.
• 이 방법은 초모수 없이 계산 효율적이며, 저차원 볼록 최적화를 통해 신뢰구간을 해결함으로써 반복적 조정이나 복잡한 클리핑 절차가 필요 없어진다.
• 합성 데이터에서는 EL 기반 구간이 모든 표본 크기에서 명목 커버리지 수준을 초과하여 유지하는 반면, 渐近 정규분포 기반 구간은 표본 크기가 증가함에 따라 과소 커버리지가 발생하고 너비가 증가한다.