[논문 리뷰] Merge Double Thompson Sampling for Large Scale Online Ranker Evaluation

Chang Li, Ilya Markov외 2명|arXiv (Cornell University)|2018. 12. 11.

Advanced Bandit Algorithms Research인용 수 3

한 줄 요약

이 논문은 Condorcet 가정 하에서 대규모 온라인 랭커 평가를 위한 확장 가능한 K-arms 듀얼링 밴딧 알고리즘인 Merge Double Thompson Sampling (MergeDTS)을 제안한다. 분할 정복과 톰슨 샘플링을 조합함으로써 MergeDTS는 오차와 시간 복잡도를 감소시켜 기존 최신 기술의 듀얼링 밴딧 방법보다 대규모 웹 검색 평가 환경에서 뛰어난 성능을 발휘한다.

ABSTRACT

Online ranker evaluation is one of the key challenges in information retrieval. While the preferences of rankers can be inferred by interleaved comparison methods, how to effectively choose the pair of rankers to generate the result list without degrading the user experience too much can be formalized as a K-armed dueling bandit problem, which is an online partial-information learning framework, where feedback comes in the form of pair-wise preferences. A commercial search system may evaluate a large number of rankers concurrently, and scaling effectively in the presence of numerous rankers has not been fully studied. In this paper, we focus on solving the large-scale online ranker evaluation problem under the so-called Condorcet assumption, where there exists an optimal ranker that is preferred to all other rankers. We propose Merge Double Thompson Sampling (MergeDTS), which first utilizes a divide-and-conquer strategy that localizes the comparisons carried out by the algorithm to small batches of rankers, and then employs the Thompson Sampling (TS) to reduce the comparisons between suboptimal rankers inside these small batches. The effectiveness (regret) and efficiency (time complexity) of MergeDTS are extensively evaluated using examples from the domain of online evaluation for web search. Our main finding is that for large-scale Condorcet ranker evaluation problems MergeDTS outperforms the state-of-the-art dueling bandit algorithms.

연구 동기 및 목표

• 대규모 온라인 정보 검색 시스템에서 많은 수의 랭커를 효율적으로 평가하는 과제를 해결한다.
• 수많은 랭커가 존재하는 환경에서도 사용자 경험을 유지하면서 온라인 랭커 평가를 효과적으로 스케일링한다.
• 최적의 랭커가 존재하여 모든 다른 랭커를 압도하는 조건부 가정 하에서 문제를 K-arms 듀얼링 밴딧으로 수식화한다.
• 국소적 비교와 적응형 샘플링을 통해 대규모 환경에서 오차와 계산 비용을 최소화하는 방법을 개발한다.
• 오차와 시간 복잡도 측면에서 기존 듀얼링 밴딧 알고리즘보다 뛰어난 성능을 달성한다.

제안 방법

• 큰 랭커 집합을 더 작고 다룰 수 있는 배치로 나누기 위해 분할 정복 전략을 적용한다.
• 각 배치 내에서 톰슨 샘플링을 사용하여 선호도 결과에 대한 사후 확률 믿음에 기반해 랭커를 적응적으로 선택하고 비교한다.
• 확률적 샘플링을 활용해 비최적의 랭커 간 비교를 제한함으로써 불필요한 평가를 줄인다.
• 계층적 집계 전략을 사용해 배치 간 결과를 융합하여 전역적으로 최적의 랭커를 식별한다.
• 우수한 랭커에 대해 탐색을 집중시키고 명백히 劣한 랭커와의 비교를 최소화함으로써 낮은 오차를 유지한다.
• 비교를 국소적 배치로 제한함으로써 알고리즘의 총 시간 복잡도를 감소시켜 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 분할 정복 접근법은 대규모 온라인 랭커 평가에 대해 듀얼링 밴딧 알고리즘을 효과적으로 스케일링할 수 있는가?
• RQ2 톰슨 샘플링은 비최적의 랭커와의 비교를 줄여 국소적 배치 내에서 오차를 어떻게 감소시키는가?
• RQ3 대규모 Condorcet 환경에서 MergeDTS는 시간 복잡도를 얼마나 감소시키면서 낮은 오차를 유지하는가?
• RQ4 실제 웹 검색 평가 시나리오에서 MergeDTS는 최신 기술의 듀얼링 밴딧 알고리즘과 비교해 어떻게 성능을 냈는가?
• RQ5 배치 크기와 융합 전략은 알고리즘의 총 오차와 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• MergeDTS는 대규모 온라인 랭커 평가에서 기존 듀얼링 밴딧 알고리즘보다 오차를 크게 감소시킨다.
• 작은 랭커 배치 내에서 비교를 국소화함으로써 알고리즘이 낮은 시간 복잡도를 달성한다.
• 배치 내 톰슨 샘플링은 비최적의 랭커와의 비교를 효과적으로 줄여 효율성을 향상시킨다.
• 분할 정복 전략 덕분에 수백 또는 수천 개의 랭커를 평가할 때도 확장 가능한 성능을 유지할 수 있다.
• 웹 검색 예제에 대한 실증 평가 결과, MergeDTS는 오차와 계산 효율성 측면에서 최신 기술보다 뛰어난 성능을 보였다.
• 단일 최적의 랭커가 존재하는 Condorcet 가정 하에서도 이 방법은 강력한 성능을 유지를 한다.