[논문 리뷰] Combinatorial Pure Exploration of Dueling Bandit

Wei Chen, Yihan Du외 2명|arXiv (Cornell University)|2020. 06. 23.

Advanced Bandit Algorithms Research참고 문헌 30인용 수 7

한 줄 요약

이 논문은 상대적 피드백을 통해 이원 그래프에서 최고의 후보-위치 매칭을 식별하기 위한 새로운 프레임워크인 조합 순수 탐색을 위한 대립 기반 밴디트(CPE-DB)를 소개한다. 상대적 피드백을 사용하여 근사 최적의 표본 복잡도를 달성하고 라운드당 다항 시간 복잡도를 가지는 효율적인 알고리즘—CLUCB-Borda-PAC 및 CAR-Cond—을 제안하며, 이는 이 설정에서 Condorcet 승자 식별을 위한 첫 번째 다항 시간 알고리즘이다.

ABSTRACT

In this paper, we study combinatorial pure exploration for dueling bandits (CPE-DB): we have multiple candidates for multiple positions as modeled by a bipartite graph, and in each round we sample a duel of two candidates on one position and observe who wins in the duel, with the goal of finding the best candidate-position matching with high probability after multiple rounds of samples. CPE-DB is an adaptation of the original combinatorial pure exploration for multi-armed bandit (CPE-MAB) problem to the dueling bandit setting. We consider both the Borda winner and the Condorcet winner cases. For Borda winner, we establish a reduction of the problem to the original CPE-MAB setting and design PAC and exact algorithms that achieve both the sample complexity similar to that in the CPE-MAB setting (which is nearly optimal for a subclass of problems) and polynomial running time per round. For Condorcet winner, we first design a fully polynomial time approximation scheme (FPTAS) for the offline problem of finding the Condorcet winner with known winning probabilities, and then use the FPTAS as an oracle to design a novel pure exploration algorithm ${\sf CAR}$-${\sf Cond}$ with sample complexity analysis. ${\sf CAR}$-${\sf Cond}$ is the first algorithm with polynomial running time per round for identifying the Condorcet winner in CPE-DB.

연구 동기 및 목표

• 상대적 피드백을 갖는 대립 기반 밴디트로의 조합 순수 탐색을 확장한 새로운 문제 설정인 CPE-DB를 정식화한다.
• 최소한의 대립 표본을 사용하여 Borda 및 Condorcet 승자 기준에 따른 최고의 후보-위치 매칭을 식별하는 데 도전한다.
• 표본 복잡도가 낮고 라운드당 다항 시간 실행 시간을 갖는 알고리즘을 설계하여, 지수적 결정 공간과 상대적 피드백 제약 조건을 극복한다.
• 이론적 표본 복잡도 상한을 확립하고, CPE-DB에서 Condorcet 승자 식별을 위한 첫 번째 다항 시간 알고리즘을 제공한다.

제안 방법

• 기존의 CPE-MAB 프레임워크를 활용할 수 있도록 Borda 승자 CPE-DB 문제를 원래의 CPE-MAB 프레임워크로 환원한다.
• 라운드당 다항 시간 계산과 날카운 표본 복잡도 상한을 갖는 CLUCB-Borda-PAC 및 CLUCB-Borda-Exact 알고리즘을 설계한다.
• 알고리즘의 확률이 알려진 경우 오프라인 Condorcet 승자 문제에 대한 완전 다항 시간 근사 계획(FPTAS)을 개발한다.
• 이 FPTAS를 오라클로 사용하여 새로운 온라인 알고리즘인 CAR-Cond를 구성하며, 라운드당 다항 시간 런타임을 보장한다.
• 분포의 변형을 통한 정보 이론적 하한을 적용하여 문제에 의존하는 표본 복잡도 하한을 유도한다.
• 검증 갭 분석을 통해 표본 복잡도 상한과 하한을 연결하여, ℓ² 요인 내에서 근사 최적성을 입증한다.

실험 결과

연구 질문

• RQ1 CPE-DB에서 Borda 승자는 CPE-MAB의 표본 복잡도에 근접한 복잡도로 효율적으로 식별될 수 있는가?
• RQ2 지수적 결정 공간과 상대적 피드백 조건이 존재하는 CPE-DB에서 Condorcet 승자 식별을 위한 다항 시간 알고리즘이 존재하는가?
• RQ3 δ-정확 보장 하에 CPE-DB에서 Condorcet 승자 식별의 본질적 표본 복잡도 한계는 무엇인가?
• RQ4 제안된 CAR-Cond 알고리즘의 표본 복잡도는 정보 이론적 하한과 어떻게 비교되는가?
• RQ5 오프라인 Condorcet 문제에 대한 FPTAS를 활용하여 효율적인 온라인 순수 탐색 알고리즘을 설계할 수 있는가?

주요 결과

• CLUCB-Borda-PAC 및 CLUCB-Borda-Exact 알고리즘은 Borda 승자가 존재하는 CPE-DB 문제의 부분집합에 대해 거의 최적의 표본 복잡도를 달성한다.
• CAR-Cond 알고리즘은 CPE-DB에서 Condorcet 승자 식별을 위한 라운드당 다항 시간 런타임을 달성한 최초의 알고리즘으로, 핵심 열린 과제를 해결한다.
• CAR-Cond의 표본 복잡도는 정보 이론적 하한에 ℓ² 요인 내에서 일치하며, 이는 근사 최적성을 시사한다.
• Borda 승자 존재 시 CPE-DB에 대해 문제에 의존하는 하한을 확립하였으며, 이는 CLUCB-Borda-Exact가 거의 최적의 성능를 달성함을 보여준다.
• 오프라인 Condorcet 문제에 대한 FPTAS는 효율적인 온라인 탐색을 가능하게 하여, 근사 계획이 순수 탐색 설정에서 얼마나 강력한지를 입증한다.
• 분석을 통해 CAR-Cond의 검증 갭이 표본 복잡도를 제어하며, 상한이 하한과 ℓ² 요인 내에서 일치함을 확인하였다.