[논문 리뷰] CAB: Continuous Adaptive Blending Estimator for Policy Evaluation and Learning

Yi Su, Lequn Wang외 2명|arXiv (Cornell University)|2018. 01. 01.

Advanced Bandit Algorithms Research인용 수 1

한 줄 요약

이 논문은 문맥 밴디트에서 오프라인 정책 평가 및 학습을 위한 새로운 반사적 추정기인 연속적 적응형 블렌딩(CAB)을 제안한다. CAB는 연속적이고 미분 가능한 블렌딩 함수를 사용하여 다수의 추정기를 적응적으로 조합하며, IPS와 직접 방법보다 낮은 편향, 이중 안정성과 IPS보다 낮은 분산을 달성하고, 하위미분 가능성 덕분에 엔드 투 엔드 학습을 가능하게 한다.

ABSTRACT

The ability to perform offline A/B-testing and off-policy learning using logged contextual bandit feedback is highly desirable in a broad range of applications, including recommender systems, search engines, ad placement, and personalized health care. Both offline A/B-testing and off-policy learning require a counterfactual estimator that evaluates how some new policy would have performed, if it had been used instead of the logging policy. In this paper, we identify a family of counterfactual estimators which subsumes most such estimators proposed to date. Our analysis of this family identifies a new estimator - called Continuous Adaptive Blending (CAB) - which enjoys many advantageous theoretical and practical properties. In particular, it can be substantially less biased than clipped Inverse Propensity Score (IPS) weighting and the Direct Method, and it can have less variance than Doubly Robust and IPS estimators. In addition, it is sub-differentiable such that it can be used for learning, unlike the SWITCH estimator. Experimental results show that CAB provides excellent evaluation accuracy and outperforms other counterfactual estimators in terms of learning performance.

연구 동기 및 목표

• 기록된 문맥 밴디트 데이터를 사용하여 정확한 오프라인 정책 평가 및 학습을 수행하는 데 도전하는 것.
• 기존 방법인 IPS, 직접 방법, 이중 안정성과 같은 것을 포함하는 통합된 반사적 추정기 가족을 식별하는 것.
• 편향과 분산을 동시에 최소화하는 새로운 추정기를 개발하여 최신 기술보다 평가 및 학습 모두에서 뛰어난 성능을 내는 것.
• 정책 학습 파ip라인에서 사용할 수 있도록 추정기가 하위미분 가능하도록 보장하여, SWITCH와 같은 비미분 가능한 추정기의 한계를 극복하는 것.

제안 방법

• IPS, 직접 방법, 이중 안정성과 같은 기존 방법을 특수 케이스로 포함하는 일반화된 반사적 추정기 가족을 제안한다.
• 학습된 연속적 가중치를 사용해 다수의 기본 추정기를 조합하는 연속적이고 적응적인 블렌딩 함수인 연속적 적응형 블렌딩(CAB)을 도입한다.
• 기울기 기반 최적화를 허용하는 연속적이고 하위미분 가능한 블렌딩 메커니즘을 활용하여 정책 학습 파이프라인에서의 사용을 가능하게 한다.
• CAB가 잘린 IPS와 직접 방법보다 낮은 편향, 이중 안정성과 IPS보다 낮은 분산을 달성함을 이론적으로 도출한다.
• 정책 학습 중 기울기 하강법을 통해 블렌딩 가중치를 최적화하여 데이터 분포에 적응하고 추정 오차를 최소화한다.

실험 결과

연구 질문

• RQ1 IPS, 직접 방법, 이중 안정성과 같은 기존 방법을 일반화하는 통합된 반사적 추정기 가족을 정의할 수 있는가?
• RQ2 다양한 추정기를 적응적으로 조합하는 블렌딩 추정기가 오프라인 정책 평가에서 개별 추정기보다 낮은 편향과 분산을 달성할 수 있는가?
• RQ3 미분 가능한 블렌딩 메커니즘이 반사적 피드백을 사용한 정책의 엔드 투 엔드 학습을 가능하게 하는가?
• RQ4 실제 오프라인 밴디트 데이터에서 CAB는 최신 기술 추정기와 비교해 평가 정확도와 학습 성능 측면에서 어떻게 성능을 내는가?

주요 결과

• CAB는 오프라인 정책 평가에서 잘린 역확률가중치(IPS) 방법과 직접 방법보다 유의미하게 낮은 편향을 달성한다.
• CAB는 이중 안정성과 IPS 추정기보다 낮은 분산을 보이며, 추정 안정성을 향상시킨다.
• 하위미분 가능성 덕분에 CAB는 SWITCH와 같은 비미분 가능한 추정기와 달리 엔드 투 엔드 정책 학습을 가능하게 한다.
• 실험 결과, CAB는 벤치마크 오프라인 밴디트 데이터셋에서 평가 정확도가 뛰어나고, 다른 추정기보다 학습 성능 측면에서 뛰어난 성능을 보였다.