[논문 리뷰] Copeland Dueling Bandit Problem: Regret Lower Bound, Optimal Algorithm, and Computationally Efficient Algorithm

Junpei Komiyama, Junya Honda외 1명|arXiv (Cornell University)|2016. 05. 05.

Advanced Bandit Algorithms Research참고 문헌 27인용 수 6

한 줄 요약

이 논문은 상대적 경험 분산과 최소 경험 분산 원리를 활용하여 점점 더 최적의 성능을 보이는 점근적 최적의 복잡도를 갖는 ECW-RMED를 소개한다. 이는 코페란드 대결 밴딧 문제에 대해 점근적으로 최적의 손실을 달성한다. 논문은 코페란드 승자 식별을 위한 손실 하한을 설정하고, 이론적 보장과 기존 방법들에 비해 뛰어난 실험 성능을 바탕으로 ECW-RMED의 최적성과 성능을 입증한다.

ABSTRACT

We study the K-armed dueling bandit problem, a variation of the standard stochastic bandit problem where the feedback is limited to relative comparisons of a pair of arms. The hardness of recommending Copeland winners, the arms that beat the greatest number of other arms, is characterized by deriving an asymptotic regret bound. We propose Copeland Winners Relative Minimum Empirical Divergence (CW-RMED) and derive an asymptotically optimal regret bound for it. However, it is not known whether the algorithm can be efficiently computed or not. To address this issue, we devise an efficient version (ECW-RMED) and derive its asymptotic regret bound. Experimental comparisons of dueling bandit algorithms show that ECW-RMED significantly outperforms existing ones.

연구 동기 및 목표

• 쌍별 비교를 통해 가장 많은 다른 암을 이기는 암을 식별하는 프레임워크로 코페란드 대결 밴딧 문제를 정식화한다.
• 대결 밴딧 설정에서 코페란드 승자 식별을 위한 손실 하한을 유도한다.
• 코페란드 승자 식별을 위한 점근적으로 최적의 알고리즘인 CW-RMED를 제안하고, 그 계산 비용 문제를 해결한다.
• CW-RMED의 계산 효율적인 변형인 ECW-RMED를 설계하며, 이는 증명된 점근적 최적성을 갖춘다.
• ECW-RMED의 기존 대결 밴딧 알고리즘들에 대한 우월성을 실험적으로 검증한다.

제안 방법

• 논문은 쌍별 비교 피드백의 구조에 기반하여 코페란드 대결 밴딧 문제의 점근적 손실 하한을 유도한다.
• 상대적 최소 경험 분산을 사용하여 쌍별 승률과 추정된 코페란드 점수에 기반해 암의 우선순위를 정하는 알고리즘인 CW-RMED를 제안한다.
• KL 분산과 경험 분포 최소화 이론 프레임워크를 적용하여 탐색과 이용의 균형을 이룬다.
• ECW-RMED는 탐욕적이고 저복잡도 전략을 통해 암 쌍 선택을 최적화하여 CW-RMED의 계산 효율적인 변형으로 설계된다.
• 이론적 분석은 결정 영역의 연속성과 개방성 논증을 사용하고, 농도 불등식을 적용하여 손실를 근사한다.
• 알고리즘은 신뢰 구간과 사건 기반 분석을 사용하여 코페란드 승자 정의 하에서 점근적 최적성을 보장한다.

실험 결과

연구 질문

• RQ1 대결 밴딧 문제에서 코페란드 승자를 식별하기 위한 손실의 기본 하한은 무엇인가?
• RQ2 코페란드 대결 밴딧 문제에서 손실의 점근적 최적성이 달성 가능한가?
• RQ3 코페란드 승자 식별에서 점근적 최적의 손실을 유지하면서 계산 효율적인 알고리즘을 설계할 수 있는가?
• RQ4 ECW-RMED는 기존 대결 밴딧 알고리즘들과 비교해 손실과 실험 성능 측면에서 어떻게 다른가?
• RQ5 CW-RMED의 이론적 성질을 크게 감소된 계산 비용으로 유지할 수 있는가?

주요 결과

• 논문은 코페란드 대결 밴딧 문제의 손실 하한을 설정하여 성능 평가의 이론적 기반을 마련한다.
• CW-RMED는 점근적으로 최적의 손실을 달성하며 유도된 하한과 일치하며, 큰 시간 수평선에서 최적이 되는 것으로 입증된다.
• ECW-RMED는 계산 효율적이며 점근적 최적성을 유지하며, 유한한 K와 유계 매개변수에 대해 손실이 O((K(C+L₁+1)) log T)로 유계진다.
• 실험 평가에서 ECW-RMED는 누적 손실 측면에서 RUCB, RMED, CCB와 같은 기존 대결 밴딧 알고리즘들을 뛰어나게 성능을 냈다.
• 이론적 분석은 ECW-RMED가 최적 결정 영역의 연속성과 유일성을 유지함을 확인하여 안정적인 수렴을 보장한다.
• 제시된 가정 하에 알고리즘의 손실는 o(log T)임을 입증하여 효율성과 확장성의 가능성을 확인한다.