[논문 리뷰] Improving offline evaluation of contextual bandit algorithms via bootstrapping techniques

Olivier Nicol, Jérémie Mary외 1명|arXiv (Cornell University)|2014. 05. 14.

Advanced Bandit Algorithms Research참고 문헌 23인용 수 15

한 줄 요약

이 논문은 데드라인 기반의 오프라인 평가 방법인 BRED를 제안하며, 이는 맥락적 밴디트 알고리즘의 추정 정확도를 크게 향상시키고 신뢰할 수 있는 불확실성 추정을 제공한다. 보정된 보상값을 사용해 데이터를 재표본화하고 부트스트래핑 분산 추정을 활용함으로써, 기존의 재생 기반 방법에 비해 수렴 속도가 빠르고 편향이 감소한다. 특히 데이터가 제한된 동적 추천 설정에서 유의미한 성능 향상을 보인다.

ABSTRACT

In many recommendation applications such as news recommendation, the items that can be rec- ommended come and go at a very fast pace. This is a challenge for recommender systems (RS) to face this setting. Online learning algorithms seem to be the most straight forward solution. The contextual bandit framework was introduced for that very purpose. In general the evaluation of a RS is a critical issue. Live evaluation is of- ten avoided due to the potential loss of revenue, hence the need for offline evaluation methods. Two options are available. Model based meth- ods are biased by nature and are thus difficult to trust when used alone. Data driven methods are therefore what we consider here. Evaluat- ing online learning algorithms with past data is not simple but some methods exist in the litera- ture. Nonetheless their accuracy is not satisfac- tory mainly due to their mechanism of data re- jection that only allow the exploitation of a small fraction of the data. We precisely address this issue in this paper. After highlighting the limita- tions of the previous methods, we present a new method, based on bootstrapping techniques. This new method comes with two important improve- ments: it is much more accurate and it provides a measure of quality of its estimation. The latter is a highly desirable property in order to minimize the risks entailed by putting online a RS for the first time. We provide both theoretical and ex- perimental proofs of its superiority compared to state-of-the-art methods, as well as an analysis of the convergence of the measure of quality.

연구 동기 및 목표

• 동적 추천 설정에서 맥락적 밴디트 알고리즘에 대한 기존 오프라인 평가 방법의 낮은 정확도와 높은 편향 문제를 해결한다.
• 재생 기반 방법에서 데이터 기각의 한계를 극복하여 사용 가능한 데이터가 심하게 제한되고 추정 분산이 증가하는 문제를 해결한다.
• 정확한 성능 추정뿐만 아니라 추정 불확실성에 대한 신뢰할 수 있는 측정치를 제공함으로써 안전한 구현 결정을 지원하는 방법을 개발한다.
• 부트스트래핑 기법이 온라인 학습 알고리즘의 오프라인 평가에서 수렴 속도를 크게 향상시키고 편향을 감소시킬 수 있음을 입증한다.

제안 방법

• 기존 상호작용 데이터의 부트스트랩 재표본화를 활용해 맥락적 밴디트 정책 성능을 추정하는 새로운 오프라인 평가 방법인 BRED(보상 추정 기반 부트스트랩)를 제안한다.
• 재표본화 과정에서 보상값에 조작을 가함으로써 분산 추정을 안정화하고 수렴을 향상시키며, 최적의 조작 수준이 $O(1/\sqrt{T})$ 비례로 스케일링됨을 입증한다.
• 부트스트랩 원리를 활용해 성능 추정기의 표본 분포를 추정함으로써 신뢰구간과 불확실성 정량화를 가능하게 한다.
• 비정적 조건에서의 유효성을 유지하기 위해 동적 데이터셋(예: Yahoo! R6B) 내에서 정적 데이터의 슬라이딩 윈도우에 BRED를 적용한다.
• 다양한 재표본에서의 부트스트랩 추정치를 조합하여 안정적이고 분산이 낮은 성능 추정치를 계산하고 공식적인 분산 추정을 수행한다.
• 합성 및 실세계 데이터셋(Yahoo! R6B)을 대상으로 실증적 검증을 수행하여 BRED를 재생 및 기타 기준 방법과 비교한다.

실험 결과

연구 질문

• RQ1 데이터 기각으로 인해 사용 가능한 데이터셋 크기가 제한될 경우, 맥락적 밴디트 알고리즘의 오프라인 평가를 어떻게 더 정확하게 만들 수 있는가?
• RQ2 부트스트래핑 기법은 온라인 학습 정책의 오프라인 평가에서 편향을 줄이고 수렴 속도를 향상시킬 수 있는가?
• RQ3 제안된 방법은 성능 추정에 대한 신뢰할 수 있는 불확실성 측정치를 제공하는가? 이는 안전한 구현 결정에 매우 중요하다.
• RQ4 BRED는 동적 추천 데이터에서 최첨단 재생 기반 방법에 비해 추정 정확도 측면에서 어떻게 성능을 내는가?
• RQ5 부트스트랩 성능 추정에서 편향과 분산을 균형 잡기 위해 보상 재표본화에서 최적의 조작 수준은 무엇인가?

주요 결과

• BRED는 데이터 기각을 줄이고 분산 제어를 향상시킴으로써 기존 재생 기반 방법에 비해 추정 정확도에서 뚜렷한 우월성을 보이며, 특히 소규모 데이터셋에서 두드러진다.
• 정적 데이터셋에서 재생 방법에 비해 훨씬 더 신속하게 수렴하며, 합성 및 실세계 데이터에서 모두 상당히 낮은 추정 오차를 보이는 것으로 실험 결과 확인되었다.
• 부트스트랩 분산 추정을 통해 신뢰할 수 있는 불확실성 측정치를 제공함으로써, 새로운 추천 시스템을 구현할 때 리스크를 최소화하는 데 핵심적인 역할을 한다.
• 재표본화 과정에서 보상값에 조작을 가함으로써 안정성과 편향 감소가 향상되며, 특히 데이터셋 크기가 제한된 경우에 유의미한 효과가 있다. 최적의 조작 수준은 $O(1/\sqrt{T})$ 비례로 스케일링됨을 확인했다.
• Yahoo! R6B 데이터셋에서 BRED는 작은 배치에서 성능을 체계적으로 과소평가하는 재생 방법에 비해 실제값에 더 가까운 클릭-through 비율을 일관되게 추정하였다.
• 이론적 분석을 통해 불확실성 추정의 빠른 수렴을 확인하였으며, 이는 실세계 구현 결정에서의 실용적 유용성을 뒷받침한다.