[논문 리뷰] An Unbiased, Data-Driven, Offline Evaluation Method of Contextual Bandit Algorithms

Lihong Li, Wei Chu외 1명|arXiv (Cornell University)|2010. 03. 31.

Advanced Bandit Algorithms Research참고 문헌 25인용 수 3

한 줄 요약

이 논문은 역사적 로그 데이터를 직접 사용함으로써 시뮬레이션 오차를 제거하는 데이터 기반, 재생 기반 오프라인 평가 방법을 제안한다. 시뮬레이터 기반 접근 방식과는 달리, 이는 증명 가능하게 편향 없는 평가를 가능하게 하며, 대규모 Yahoo! 뉴스 데이터셋에서 온라인 버킷 테스트와 강한 일치를 보인다.

ABSTRACT

Contextual bandit algorithms have become popular for online recommendation systems such as Digg, Yahoo! Buzz, and news recommendation in general. \emph{Offline} evaluation of the effectiveness of new algorithms in these applications is critical for protecting online user experiences but very challenging due to their partial-label nature. Common practice is to create a simulator which simulates the online environment for the problem at hand and then run an algorithm against this simulator. However, creating simulator itself is often difficult and modeling bias is usually unavoidably introduced. In this paper, we introduce a \emph{replay} methodology for contextual bandit algorithm evaluation. Different from simulator-based approaches, our method is completely data-driven and very easy to adapt to different applications. More importantly, our method can provide provably unbiased evaluations. Our empirical results on a large-scale news article recommendation dataset collected from Yahoo! Front Page conform well with our theoretical results. Furthermore, comparisons between our offline replay and online bucket evaluation of several contextual bandit algorithms show accuracy and effectiveness of our offline evaluation method.

연구 동기 및 목표

• 추천 시스템에서 컨텍스트 밴딧 알고리즘의 오프라인 평가가 편향되거나 정확하지 않을 문제를 해결하기 위해.
• 종종 모델링 오차를 유발하는 시뮬레이션 기반 평가에 의존하는 것을 제거하기 위해.
• 다양한 응용 분야에 쉽게 적용 가능하면서도 증명 가능하게 편향 없는 방법을 개발하기 위해.
• 온라인 버킷 테스트와의 비교를 통해 오프라인 결과의 정확성을 검증하기 위해.
• 실제 추천 시스템에서 시뮬레이터 기반 평가의 실용적이고 데이터 기반의 대안을 제공하기 위해.

제안 방법

• 이 방법은 실제 세계 데이터셋의 역사를 기반으로 한 상호작용을 재생하여 온라인 밴딧 배포를 시뮬레이션하는 재생 메커니즘을 사용한다.
• 컨텍스트, 액션, 보상이 포함된 기록된 데이터를 활용하여 컨텍스트 밴딧의 의사결정 과정을 재구성한다.
• 환경이나 보상 모델에 대한 가정 없이 과거 상호작용에서 실제로 관측된 보상을 기반으로 평가한다.
• 기록된 데이터를 진짜 데이터 분포의 대표 샘플로 간주함으로써 편향 없는 추정을 보장한다.
• 동일한 역사를 기반으로 여러 밴딧 알고리즘을 비교할 수 있어 공정하고 일관된 평가가 가능하다.
• 이 방법은 완전히 오프라인이며 온라인 배포나 사용자 행동 시뮬레이션을 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 데이터 기반 재생 방법이 컨텍스트 밴딧 알고리즘의 편향 없는 오프라인 평가를 제공할 수 있는가?
• RQ2 실제 환경에서 재생 방법의 성능은 온라인 버킷 테스트와 어떻게 비교되는가?
• RQ3 재생 방법은 시뮬레이터 기반 평가에 비해 얼마나 많은 편향을 줄일 수 있는가?
• RQ4 재생 방법은 다양한 추천 시스템 응용 분야에 확장 가능하고 적응 가능한가?
• RQ5 재생을 통한 오프라인 평가는 온라인 알고리즘 성능을 정확히 반영하는가?

주요 결과

• 재생 기반 평가 방법은 시뮬레이터 기반 접근 방식과 달리 증명 가능하게 편향 없는 성능 추정을 제공한다.
• 대규모 Yahoo! 뉴스 데이터셋에서의 실험 결과, 오프라인 재생 평가와 온라인 버킷 테스트 사이에 강한 일치가 나타났다.
• 이 방법은 시뮬레이터 설계에 내재된 모델링 오차를 제거함으로써 시뮬레이션 기반 평가보다 뛰어난 성능을 보였다.
• 실제 기록된 데이터에 의존하기 때문에 다양한 응용 분야에 쉽게 적용 가능하다.
• 오프라인 평가 결과가 온라인 성능과 매우 유사하게 나타나, 이 방법의 정확성과 신뢰성을 검증했다.
• 이 연구는 재생 기반 평가가 알고리즘 선택을 위한 온라인 A/B 테스트의 신뢰할 수 있는 대안이 될 수 있음을 확인했다.