[논문 리뷰] Copeland Dueling Bandits

Masrour Zoghi, Zohar Karnin외 2명|arXiv (Cornell University)|2015. 06. 01.

Advanced Bandit Algorithms Research참고 문헌 42인용 수 10

한 줄 요약

이 논문은 조건서드 승자(Condorcet winner)가 존재하지 않는 상황을 위해 두 가지 새로운 듀얼링 밴디트 알고리즘—코페란드 신뢰구간(Copeland Confidence Bound, CCB)과 스케일러블 코페란드 밴디트(Scalable Copeland Bandits, SCB)—를 제안한다. 코페란드 승자(Copeland winner)는 항상 존재함이 보장되므로, 제약 조건이 없는 조건 하에서 $\mathcal{O}(K\log T)$의 리그레트 한계를 달성하며, 이는 이전 연구에서 조건서드 가정을 필요로 하거나 $\mathcal{O}(K^2\log T)$의 리그레트를 초래했던 것에 비해 크게 향상된 결과이다.

ABSTRACT

A version of the dueling bandit problem is addressed in which a Condorcet winner may not exist. Two algorithms are proposed that instead seek to minimize regret with respect to the Copeland winner, which, unlike the Condorcet winner, is guaranteed to exist. The first, Copeland Confidence Bound (CCB), is designed for small numbers of arms, while the second, Scalable Copeland Bandits (SCB), works better for large-scale problems. We provide theoretical results bounding the regret accumulated by CCB and SCB, both substantially improving existing results. Such existing results either offer bounds of the form $O(K \log T)$ but require restrictive assumptions, or offer bounds of the form $O(K^2 \log T)$ without requiring such assumptions. Our results offer the best of both worlds: $O(K \log T)$ bounds without restrictive assumptions.

연구 동기 및 목표

• 기존 듀얼링 밴디트 알고리즘이 조건서드 승자가 존재함을 전제로 하고 있어 실생활에서는 존재하지 않을 수 있다는 한계를 해결한다.
• 조건서드 승자가 존재하지 않을 경우의 리그레트 한계를 제공하며, 이는 정보 검색 및 온라인 A/B 테스트와 같은 실세계 적용 사례에서 흔한 문제이다.
• 이론적으로 타당하고 실용적으로 스케일러블인 알고리즘 설계를 목표로 하며, 하나는 작은 $K$에 최적화하고 다른 하나는 대규모 문제에 최적화한다.
• 기존 방법들의 최고의 특성을 융합함으로써, 제약 조건이 없는 조건 하에서 $\mathcal{O}(K\log T)$ 리그레트를 달성함으로써 이전 방법보다 더 날카로운 리그레트 한계를 확보한다.

제안 방법

• 코페란드 점수(Copeland score)가 높은 무기들을 식별하기 위해 쌍별 승리 확률에 대한 상한 및 하한 신뢰구간을 사용하는 UCB 유사 알고리즘인 코페란드 신뢰구간(Copeland Confidence Bound, CCB)을 제안한다.
• 코페란드 승자로 보이는 무기들에 초점을 맞춘 샘플링 전략을 사용함으로써 리그레트 한계에서 $\mathcal{O}(K^2)$ 항을 줄이는 더 효율적인 변형인 스케일러블 코페란드 밴디트(Scalable Copeland Bandits, SCB)를 도입한다.
• 코페란드 점수를 무기들이 이긴 다른 무기의 수로 정의하고, 조건서드 승자가 존재하지 않을 경우 주요 기준으로 삼아 최고의 무기들을 식별한다.
• 정확도 오차를 제한하고 진짜 코페란드 승자로 수렴하도록 보장하기 위해 고확률 농도 부등식과 신뢰구간을 적용한다.
• 초기 단계에서 충분한 탐색을 보장하기 위해 $C(\delta)$ 기반의 임계값 메커니즘을 활용하여 탐색과 이용의 균형을 이룬다.
• 쌍별 비교의 구조와 승리-패배 관계의 대칭성을 활용하여 중복 비교를 줄이고 샘플 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 조건서드 승자가 존재하지 않는다고 가정할 때, $\mathcal{O}(K\log T)$ 리그레트 한계를 달성하는 듀얼링 밴디트 알고리즘을 설계할 수 있는가?
• RQ2 모든 다른 무기들보다 더 많은 무기들을 이길 수 있는 코페란드 승자를 효과적으로 식별하는 방법은 무엇인가? (특히 어떤 무기 하나가 모든 다른 무기들을 압도하지는 않는 상황에서)
• RQ3 대규모 듀얼링 밴디트 문제에서 리그레트 성능과 계산적 스케일러빌리티 사이의 상호 교환 관계는 어떠한가?
• RQ4 강력한 이론적 보장을 유지하면서도 리그레트 한계에서 $\mathcal{O}(K^2)$의 덧셈 항을 제거할 수 있는가?
• RQ5 정보 검색과 같은 실세계 환경에서 제안된 알고리즘이 기존 방법들보다 어떻게 비교되는가?

주요 결과

• CCB는 $\mathcal{O}(K^2 + K\log T)$의 anytime 고확률 리그레트 한계를 확보하며, 이는 이전 방법들보다 갭 $\Delta_{ij} = |p_{ij} - 0.5|$에 대해 훨씬 더 우수한 의존성 구조를 보인다.
• SCB는 기대 리그레트 한계 $\mathcal{O}(K\log K\log T)$를 달성하며, $\mathcal{O}(K^2)$ 항을 제거하여 큰 $K$에 대한 확장성을 보장한다.
• 두 알고리즘의 리그레트 한계는 모두 $\mathcal{O}(K\log T)$의 순서를 가지며, 이는 조건서드 가정 하에서 달성 가능한 최고의 결과와 동일하지만, 그 가정을 필요로 하지 않는다.
• 정보 검색 데이터셋에 대한 실증 평가 결과, CCB와 SCB는 조건서드 가정이 없는 환경에서 기존 방법들을 능가하며, 이는 이론적 예측과 일치하는 성능을 보였다.
• CCB는 $K$가 작고 무기들이 잘 분리되어 있을 경우 더 우수한 성능을 보이며, SCB는 그 자체의 더 날카로운 리그레트 한계 덕분에 대규모 환경에서 뛰어난 성능을 발휘한다.
• 논문은 조건서드 승자가 존재할 확률이 $K$가 증가함에 따라 급격히 감소함을 시사하며, 실생활에서 CCB와 SCB와 같은 알고리즘이 필요함을 입증한다.