[논문 리뷰] Relative Upper Confidence Bound for the K-Armed Dueling Bandit Problem

Masrour Zoghi, Shimon Whiteson외 2명|arXiv (Cornell University)|2013. 12. 12.

Advanced Bandit Algorithms Research참고 문헌 38인용 수 57

한 줄 요약

이 논문은 K-armed dueling bandit 문제를 위한 새로운 알고리즘인 Relative Upper Confidence Bound (RUCB)를 소개한다. RUCB는 표준 UCB를 확장하여 쌍별 비교 확률에 대한 낙관적 추정치를 사용해 챔피언이 될 만한 암을 선택하고, 그에 상대적인 표준 UCB를 적용한다. RUCB는 알려진 시간 범위 T가 필요 없이 O(log t)의 유한 시간 복잡도를 달성하며, 실제 정보 검색 데이터에서 최신 기법들보다 이론적 한계와 실증 성능 면에서 뛰어나다.

ABSTRACT

This paper proposes a new method for the K-armed dueling bandit problem, a variation on the regular K-armed bandit problem that offers only relative feedback about pairs of arms. Our approach extends the Upper Confidence Bound algorithm to the relative setting by using estimates of the pairwise probabilities to select a promising arm and applying Upper Confidence Bound with the winner as a benchmark. We prove a finite-time regret bound of order O(log t). In addition, our empirical results using real data from an information retrieval application show that it greatly outperforms the state of the art.

연구 동기 및 목표

• 기존 dueling bandit 알고리즘들이 입력으로 알려진 탐색 시간 범위 T가 필요로 하는 한계를 해결하기 위해.
• 제약 조건이 많거나 복잡도 상수의 품질이 떨어지는 기존 방법들에 의존하지 않는, 더 넓은 적용 범위를 가진 K-armed dueling bandit 문제를 위한 알고리즘을 개발하기 위해.
• 고정된 시간 범위 T까지가 아니라 모든 시간 단계에서 유효한, 유한 시간 내 고확률 복잡도 상한을 제공하기 위해.
• 실제 LETOR 데이터셋에서의 실시간 정보 검색 응용에서 알고리즘의 우수성을 실증적으로 검증하기 위해.

제안 방법

• RUCB는 모든 암 간의 쌍별 비교 확률 pij에 대한 낙관적 추정치를 유지한다.
• 이러한 낙관적 추정치를 바탕으로 쌍별 비교에서 승리 가능성이 높은 잠재적 챔피언 암을 선택하며, 이는 Condorcet 승자일 가능성이 높은 암을 식별하는 데 기여한다.
• 그 후, 이 챔피언 암을 기준으로 표준 Upper Confidence Bound (UCB) 선택 기법을 적용하여 추가 비교를 수행한다.
• 탐색을 제어하기 위해 α > 0.5 인 신뢰도 파라미터를 사용하며, 실험에서는 이론적 한계에 가까워지도록 α = 0.51 을 사용한다.
• 사전에 정해진 시간 범위 T가 필요 없이 동적으로 적응하므로, 온라인 및 실시간 응용에 적합하다.
• 이론적 분석은 농도 부등식을 기반으로 하며, 비최적 선택의 확률을 제한하여 O(log t)의 복잡도를 도출한다.

실험 결과

연구 질문

• RQ1 알려진 탐색 시간 범위 T를 입력으로 요구하지 않는 dueling bandit 알고리즘을 설계할 수 있는가?
• RQ2 기존 방법들보다 제약 조건이 덜 강한 조건 하에서 O(log t)의 유한 시간 복잡도 상한을 달성할 수 있는 dueling bandit 알고리즘이 존재하는가?
• RQ3 낙관적 확률 추정치를 사용하여 UCB 스타일 알고리즘을 상대 피드백 환경으로 효과적으로 확장할 수 있는가?
• RQ4 제안된 방법은 실제 데이터에서 BTM 및 SAVAGE와 같은 최신 기법들보다 복잡도와 정확도 면에서 뛰어나게 성능을 발휘하는가?

주요 결과

• RUCB는 모든 시간 단계 t에 대해 유효한, 유한 시간 내 고확률 복잡도 상한 O(log t)를 달성한다. 이는 시간 범위에 의존하는 기존 방법들과는 다르다.
• RUCB의 복잡도 상한은 Interleaved Filter (IF) 및 Beat the Mean (BTM)보다 더 제약 조건이 덜 강하며, SAVAGE보다도 더 우수한 상수 계수를 가진다.
• LETOR 데이터셋에서 64개의 랭커를 사용한 실재 실험에서, RUCB는 450만 회 반복 동안 Condorcet SAVAGE보다 5배에서 10배 정도 더 낮은 복잡도를 누적하였다.
• RUCB는 Condorcet SAVAGE가 소요하는 시간의 약 20%만에 더 높은 정확도에 도달하였으며, 이는 더 빠른 수렴을 의미한다.
• RUCB는 시간 범위 입력이 필요한 BTM를 상당히 능가하였으며, BTM는 여러 개의 시간 범위 T로 설정하여 실행되었음에도 불구하고 말이다.
• 100회의 독립 실행 전반에서 RUCB의 성능은 일관되게 높은 복잡도 및 정확도 향상을 보였으며, 테스트된 모든 K 값(16, 32, 64)에서 유사한 성능 향상을 보였다.