[논문 리뷰] Reducing Dueling Bandits to Cardinal Bandits

Nir Ailon, Thorsten Joachims외 1명|arXiv (Cornell University)|2014. 05. 14.

Advanced Bandit Algorithms Research참고 문헌 20인용 수 35

한 줄 요약

이 논문은 듀얼링 밴디트 문제를 전통적인 멀티어프드 밴디트(MAB) 프레임워크로 변환하는 세 가지 감소 기법—Doubler, MultiSBM, Sparring—을 제안한다. 이를 통해 기존의 MAB 알고리즘을 사용할 수 있게 된다. 이는 두 번째 차수 항을 고려한 거의 최적의 리그레트 한계를 제공하며, MultiSBM에 대해 渐近 최적성(점근 최적성)을 증명한다. Sparring는 실험적으로 이전 방법들을 능가한다.

ABSTRACT

We present algorithms for reducing the Dueling Bandits problem to the conventional (stochastic) Multi-Armed Bandits problem. The Dueling Bandits problem is an online model of learning with ordinal feedback of the form "A is preferred to B" (as opposed to cardinal feedback like "A has value 2.5"), giving it wide applicability in learning from implicit user feedback and revealed and stated preferences. In contrast to existing algorithms for the Dueling Bandits problem, our reductions -- named $\Doubler$, $\MultiSbm$ and $\DoubleSbm$ -- provide a generic schema for translating the extensive body of known results about conventional Multi-Armed Bandit algorithms to the Dueling Bandits setting. For $\Doubler$ and $\MultiSbm$ we prove regret upper bounds in both finite and infinite settings, and conjecture about the performance of $\DoubleSbm$ which empirically outperforms the other two as well as previous algorithms in our experiments. In addition, we provide the first almost optimal regret bound in terms of second order terms, such as the differences between the values of the arms.

연구 동기 및 목표

• 순서형 피드백 환경에서 기존의 MAB 알고리즘을 사용할 수 있도록 듀얼링 밴디트와 전통적인 멀티어프드 밴디트 간 격차를 메우기 위한 목표.
• 기존의 MAB 알고리즘 성능을 유지하는 감소 기법에 대한 이론적 리그레트 한계 제공.
• 기존의 MAB 결과를 듀얼링 밴디트 환경으로 변환하는 일반적인 체계 개발.
• 시간 범위 T와 암 가치 간의 차이와 같은 두 번째 차수 항 모두에서 점근 최적성을 달성하기 위한 목표.
• 제안된 감소 기법들을 기존 알고리즘들인 BTMB 및 IF와 비교하여 실험적으로 평가하기 위한 목표.

제안 방법

• Doubler는 쌍의 각 암에 대해 독립적인 두 개의 MAB 인스턴스를 시뮬레이션하고 대칭 피드백 메커니즘을 사용함으로써 듀얼링 밴디트를 MAB로 감소시킨다.
• MultiSBM는 대칭적이고 균형 잡힌 샘플링 전략을 사용하여 두 개의 별도된 MAB 학습기를 유지함으로써 쌍별 비교에서 왼쪽과 오른쪽 암에 대해 동일한 대우를 보장한다.
• Sparring는 암을 쌍으로 묶고 승자만 다음 라운드로 진출시키는 토너먼트식 제거 메커니즘을 사용하며, 스포츠 대회를 모방하여 리그레트를 감소시킨다.
• 모든 감소 기법은 MAB 알고리즘을 블랙박스로 간주하여, 알려진 리그레트 한계를 가진 기존의 모든 MAB 알고리즘을 쉽게 통합할 수 있도록 설계되어 있다.
• 감소 기법들은 기반 MAB 알고리즘의 리그레트 성질을 유지하도록 설계되었으며, Doubler는 O(log T)의 추가 오버헤드를 가지며, MultiSBM는 점근 최적성을 달성한다.
• 이론적 분석은 선형 링크 함수 하에서 리그레트 한계에 집중하며, 다른 링크 함수에 대한 확장은 부록에서 제공된다.

실험 결과

연구 질문

• RQ1 듀얼링 밴디트를 체계적으로 표준 멀티어프드 밴디트로 감소시킬 수 있으며, 리그레트 보장을 유지할 수 있는가?
• RQ2 블랙박스 MAB 알고리즘을 사용해 듀얼링 밴디트를 MAB로 감소시킬 때 발생하는 최소한의 리그레트 오버헤드는 얼마인가?
• RQ3 감소 기법들이 T 뿐 아니라 암 가치 간의 차이와 같은 두 번째 차수 항에서도 점근 최적성을 달성할 수 있는가?
• RQ4 제안된 감소 기법들은 기존의 듀얼링 밴디트 알고리즘들인 BTMB 및 IF와 비교해 어떻게 성능을 냈는가?
• RQ5 Sparring의 실험적 성능이 다른 방법들을 능가하는 것은 리그레트 한계에 의해 теор적으로 정당화될 수 있는가?

주요 결과

• MultiSBM는 시간 범위 T와 두 번째 차수 항 모두에서 점근적으로 최적의 리그레트를 달성하며, UCB의 리그레트와 하위항을 제외하고는 일치한다.
• Doubler는 기반 MAB 알고리즘 대비 추가로 O(log T)의 리그레트 요소를 유발하며, 다항식 리그레트 MAB의 경우 이는 O(1)이 된다.
• Sparring는 모든 테스트 시나리오에서 BTMB 및 IF를 포함한 모든 다른 알고리즘보다 실험적으로 뛰어난 성능을 보였지만, 그 리그레트 한계는 아직 추측에 머물러 있다.
• 제안된 감소 기법들은 기존의 모든 MAB 알고리즘을 블랙박스로 사용할 수 있게 하여, 알려진 MAB 결과의 순서형 피드백 환경 적용 가능성을 크게 확장한다.
• 실험 결과 MultiSBM와 IF가 리그레트 측면에서 최상의 성능을 보였으며, MultiSBM는 다양한 암 가치 및 링크 함수 설정에서 일관된 우수성을 보였다.
• 감소 기법들은 다양한 설정—예를 들어 YJ 벤치마크—에서도 강건하며, 수정 없이 적용되어도 강력한 성능을 유지한다.