[논문 리뷰] MergeDTS: A Method for Effective Large-Scale Online Ranker Evaluation

Chang Li, Ilya Markov외 2명|arXiv (Cornell University)|2018. 12. 11.

Advanced Bandit Algorithms Research참고 문헌 55인용 수 4

한 줄 요약

MergeDTS는 대규모 온라인 랭커 평가를 위한 새로운 알고리즘으로, Divide-and-Conquer 배치 처리와 톰슨 샘플링(Thompson Sampling)을 결합하여 콘도르세 가정 하에 최적의 랭커를 효율적으로 식별한다. 이는 상태기반의 듀얼링 밴딧 방법인 MergeRUCB에 비해 특히 수백 또는 수천 명의 랭커를 포함한 대규모 환경에서 누적 손실(regret)과 계산 효율성 측면에서 뚜렷한 성능 향상을 보인다.

ABSTRACT

Online ranker evaluation is one of the key challenges in information retrieval. While the preferences of rankers can be inferred by interleaving methods, the problem of how to effectively choose the ranker pair that generates the interleaved list without degrading the user experience too much is still challenging. On the one hand, if two rankers have not been compared enough, the inferred preference can be noisy and inaccurate. On the other, if two rankers are compared too many times, the interleaving process inevitably hurts the user experience too much. This dilemma is known as the exploration versus exploitation tradeoff. It is captured by the $K$-armed dueling bandit problem, which is a variant of the $K$-armed bandit problem, where the feedback comes in the form of pairwise preferences. Today's deployed search systems can evaluate a large number of rankers concurrently, and scaling effectively in the presence of numerous rankers is a critical aspect of $K$-armed dueling bandit problems. In this paper, we focus on solving the large-scale online ranker evaluation problem under the so-called Condorcet assumption, where there exists an optimal ranker that is preferred to all other rankers. We propose Merge Double Thompson Sampling (MergeDTS), which first utilizes a divide-and-conquer strategy that localizes the comparisons carried out by the algorithm to small batches of rankers, and then employs Thompson Sampling (TS) to reduce the comparisons between suboptimal rankers inside these small batches. The effectiveness (regret) and efficiency (time complexity) of MergeDTS are extensively evaluated using examples from the domain of online evaluation for web search. Our main finding is that for large-scale Condorcet ranker evaluation problems, MergeDTS outperforms the state-of-the-art dueling bandit algorithms.

연구 동기 및 목표

• 수천 명의 랭커가 포함된 경우 온라인 랭커 평가의 확장성 문제를 해결하기 위해.
• 콘도르세 가정 하에 대규모 듀얼링 밴딧 문제에서 탐색과 이용의 상호 보완적 갈등을 해결하기 위해.
• 기존의 대규모 듀얼링 밴딧 알고리즘보다 계산 효율성을 향상시키면서도 높은 효과성(낮은 손실)을 유지하는 방법을 개발하기 위해.
• 노이즈가 있는 사용자 피드백에도 불구하고 최적의 랭커를 식별하는 데 있어 이론적 타당성과 실용적 강건성을 확보하기 위해.

제안 방법

• MergeDTS는 랭커 집합을 작은, 다루기 쉬운 배치로 나누는 Divide-and-Conquer 전략을 사용하여 전역 비교 수를 제한한다.
• 각 배치 내부에서는 톰슨 샘플링(TS)을 적용하여 상호 혼합되는 랭커 쌍을 선택하며, 사후 분포를 활용해 정보성 높은 비교를 우선순위로 한다.
• 알고리즘은 UCB 기반의 제거 전략을 동적으로 적용하여 각 배치 내에서 열등한 랭커를 제거함으로써 불필요한 비교를 줄인다.
• 이중 톰슨 샘플링(DTS) 원리를 계층적 배치 프레임워크에 통합하여, 이전 방법에서 사용하는 균일한 랜덤 선택 대비 효율성을 향상시킨다.
• 시간 수평 $T$ 가 알려져 있고 탐색 매개변수 $\alpha > 0.5$ 라면 이론적으로 타당하며, 최적의 랭커로 수렴함을 보장한다.
• 파rameter 조정은 경험적 평가에 기반하며, $\alpha = 0.8^6 \approx 0.2621$, $M = 16$, $C = 4,000,000$ 는 손실과 실패율 간 최적의 균형을 이룬 것으로 선택되었다.

실험 결과

연구 질문

• RQ1 대규모 온라인 평가에서 수천 명의 랭커가 존재할 경우, 확장 가능한 듀얼링 밴딧 알고리즘이 최적의 랭커를 효과적으로 식별할 수 있는가?
• RQ2 톰슨 샘플링과 로컬화된 배치 비교를 조합함으로써, 기존의 대규모 듀얼링 밴딧 방법에 비해 손실과 시간 복잡도는 어떻게 향상되는가?
• RQ3 콘도르세 승자가 명확하지 않거나 상호 선호 순서 사이클이 존재할 경우, MergeDTS는 성능과 강건성을 어느 정도 유지하는가?
• RQ4 실제로 $\alpha$, $M$, $C$ 매개변수가 손실, 실패율, 계산 효율성 간의 균형에 어떤 영향을 미치는가?

주요 결과

• $\alpha = 0.8^4$ 일 때 DTS 대비 누적 손실을 약 1/3 수준으로 줄여, 대규모 환경에서 뛰어난 효과성을 입증하였다.
• $\alpha = 0.8^6 \approx 0.2621$ 일 때, 낮은 손실과 최소한의 실패율 간 균형을 달성하였으며, 100,000회의 시험 중 단 한 번의 실패만 관측되었다.
• 배치 크기 $M$ 을 작은 값에서 $M = 16$ 으로 증가시킴으로써 손실이 크게 감소하였으며, 더 큰 배치가 더 정보성 높은 국소 비교를 제공하기 때문이다.
• MergeDTS의 시간 복잡도는 $O(TM^2)$ 로, 현실적인 배치 크기에서는 여전히 처리 가능하며, 대규모 시나리오에서 DTS보다 더 효율적이다.
• 여러 개의 MSLR-Navigational 벤치마크에서 상태기반의 대규모 듀얼링 밴딧 알고리즘인 MergeRUCB에 비해 손실과 계산 효율성 측면에서 모두 우수한 성능을 보였다.
• 이론적 범위 외의 매개변수 설정일지라도 MergeDTS는 강력한 성능을 유지하여 이론과 실무 간 격차가 존재함을 시사한다.