[논문 리뷰] Large-scale Validation of Counterfactual Learning Methods: A Test-Bed

Damien Lefortier, Adith Swaminathan외 3명|arXiv (Cornell University)|2016. 12. 01.

Advanced Bandit Algorithms Research참고 문헌 10인용 수 27

한 줄 요약

이 논문은 배너 광고 배치 맥락에서 오프정책 학습 방법을 평가하기 위해 실제 디스プレイ 광고 데이터를 사용하는 대규모 공개 테스트 베드를 소개한다. 상태 공간에서의 반사적 학습 방법인 POEM과 이중적으로 안정적인 최적화가 실제 데이터셋에서 감독 학습 기반 모델을 크게 능가함을 입증하며, 적절한 성향 점수를 사용할 경우 더 높은 추정 클릭률 성능을 달성한다.

ABSTRACT

The ability to perform effective off-policy learning would revolutionize the process of building better interactive systems, such as search engines and recommendation systems for e-commerce, computational advertising and news. Recent approaches for off-policy evaluation and learning in these settings appear promising. With this paper, we provide real-world data and a standardized test-bed to systematically investigate these algorithms using data from display advertising. In particular, we consider the problem of filling a banner ad with an aggregate of multiple products the user may want to purchase. This paper presents our test-bed, the sanity checks we ran to ensure its validity, and shows results comparing state-of-the-art off-policy learning methods like doubly robust optimization, POEM, and reductions to supervised learning using regression baselines. Our results show experimental evidence that recent off-policy learning methods can improve upon state-of-the-art supervised learning techniques on a large-scale real-world data set.

연구 동기 및 목표

• 디스플레이 광고에서 로깅된 실제 데이터를 사용하여 오프정책 학습 알고리즘을 평가하기 위한 표준화되고 대규모의 테스트 베드를 제공하는 것.
• 실제로 고위험 상호작용 시스템 환경에서 반사적 학습 방법의 체계적 벤치마킹을 가능하게 하는 것.
• 최근 오프정책 학습 기법—예를 들어 이중적으로 안정적인 최적화와 POEM—이 실제 데이터셋에서 감독 학습 기반 모델에 비해 효과적으로 작용하는지 검증하는 것.
• 오프정책 학습 연구에서 데이터 품질과 유효성에 대한 엄격한 사전 점검을 수립하는 것.
• 배치 학습에서의 확장 가능한 정책 학습, 개선된 정규화 및 모델 선택에 대한 향후 연구를 지원하는 것.

제안 방법

• 테스트 베드는 Criteo의 디스플레이 광고 플랫폼에서 얻은 실제 로깅된 데이터를 사용하며, 각 행동에 대해 정확한 성향 점수를 제공한다.
• 학습 과제는 사용자 및 제품의 문맥적 특징을 기반으로 클릭률을 최대화하기 위해 배너 광고에 표시할 최적의 제품을 선택하는 것(1스лот 케이스).
• 시스템은 로깅된 데이터를 기반으로 한 문맥적 밴드잇 문제로 문제를 모델링하며, 각 사용자 인상에는 문맥, 후보 제품, 관측된 피드백(클릭)이 포함된다.
• 광고 배치 중 랜덤 탐색을 통해 정확한 성향 점수가 로깅되어 타당한 반사적 평가가 가능하다.
• 평가 프레임워크는 33-33-33% 훈련-검증-테스트 분할을 사용하며, 표준 지표인 추정 보상 $\hat{R}(\pi)$ 및 비용 $\hat{C}(\pi)$를 적용한다.
• 여섯 가지 방법을 벤치마킹한다: 랜덤, 회귀(감독 학습), IPS, DRO(이중적으로 안정적인 최적화), POEM이며, 모두 선형 정책 클래스 $\pi \in \Pi_{\text{lin}}$를 사용한다.

실험 결과

연구 질문

• RQ1 최근 오프정책 학습 방법이 실제 대규모 환경에서 표준 감독 학습 기반 모델을 능가할 수 있는가?
• RQ2 정확한 성향 점수를 갖춘 실제 로깅된 데이터에서 다양한 반사적 추정 기법(예: IPS, DRO, POEM)의 성능은 어떻게 평가되는가?
• RQ3 데이터 품질 및 로깅 절차에 대한 사전 점검이 오프정책 평가의 신뢰성에 얼마나 큰 영향을 미치는가?
• RQ4 성향 점수를 활용하는 정책 최적화 방법이 관측된 보상에 직접 회귀하는 것보다 더 우수한 일반화 성능을 달성할 수 있는가?
• RQ5 초기화 수치 설정 및 분산 정규화가 POEM 및 DRO와 같은 오프정책 학습 알고리즘의 성능에 어떻게 영향을 미치는가?

주요 결과

• POEM은 테스트 세트에서 $58.040 \times 10^{-4}$의 최고 추정 보상을 기록했으며, 99% 신뢰구간은 $\pm 3.407 \times 10^{-4}$였다.
• 이중적으로 안정적인 최적화(DRO)는 $57.356 \times 10^{-4}$를 기록했으며, 감독 학습 기반 모델의 $48.353 \times 10^{-4}$를 크게 능가했다.
• IPS 추정은 $54.125 \times 10^{-4}$를 기록했으며, 로깅 정책 $\pi_0$의 $53.540 \times 10^{-4}$보다 향상된 성능을 보였다.
• POEM과 DRO의 성능은 감독 학습 회귀 기반 모델보다 뚜렷이 뛰어나, 반사적 방법이 성향 점수를 효과적으로 활용해 일반화 성능을 향상시킨다는 것을 시사한다.
• 최소한의 초기화 수치 조정으로도 POEM과 DRO가 모든 기반 모델을 능가했으며, 이는 이러한 방법이 실제 환경 구현에서 강력한 경험적 잠재력을 지닌다는 것을 시사한다.
• 결과는 현대적인 오프정책 학습 기법이 대규모 실제 데이터셋에서 최신 감독 학습 기법을 능가할 수 있다는 첫 번째 실험적 증거를 제공한다.