[논문 리뷰] Multi-dueling Bandits with Dependent Arms

Yanan Sui, Vincent Zhuang외 2명|arXiv (Cornell University)|2017. 04. 29.

Advanced Bandit Algorithms Research인용 수 3

한 줄 요약

이 논문은 종속된 암을 가진 다중 대결 밴딧 문제를 다루기 위해 SelfSparring 알고리즘을 제안한다. 이 알고리즘은 톰슨 샘플링과 같은 확률적 밴딧 접근 방식을 통해 문제를 전통적인 밴딧 설정으로 환원하면서, 가우시안 프로세스 사전분포를 사용해 암 간의 의존성을 모델링한다. 이는 기존의 최첨단 대결 밴딧 방법보다 훨씬 낮은 누적 손실을 달성하며, 특히 암의 수가 증가할수록 성능 향상이 두드러지며, 이론적으로 손실이 없는 보장과 함께 합성 및 실세계 데이터셋에서의 실험적 검증을 통해 입증된다.

ABSTRACT

The dueling bandits problem is an online learning framework for learning from pairwise preference feedback, and is particularly well-suited for modeling settings that elicit subjective or implicit human feedback. In this paper, we study the problem of multi-dueling bandits with dependent arms, which extends the original dueling bandits setting by simultaneously dueling multiple arms as well as modeling dependencies between arms. These extensions capture key characteristics found in many real-world applications, and allow for the opportunity to develop significantly more efficient algorithms than were possible in the original setting. We propose the \selfsparring algorithm, which reduces the multi-dueling bandits problem to a conventional bandit setting that can be solved using a stochastic bandit algorithm such as Thompson Sampling, and can naturally model dependencies using a Gaussian process prior. We present a no-regret analysis for multi-dueling setting, and demonstrate the effectiveness of our algorithm empirically on a wide range of simulation settings.

연구 동기 및 목표

• 기존의 대결 밴딧 방법은 쌍별 비교만 허용하고 암을 독립적으로 취급하므로, 동시에 여러 암을 대결시킬 수 있도록 보완하고자 한다.
• 고차원 또는 무한 차원의 행동 공간에서 암 간의 의존성을 낮은 차원의 커널 구조를 통해 모델링하고자 한다.
• 다중 대결 밴딧 문제를 표준 밴딧 문제로 환원하면서도 이론적 손실 보장과 함께 원칙적이고 효율적인 알고리즘을 개발하고자 한다.
• 제안된 방법이 기존의 대결 밴딧 알고리즘보다 손실 측면에서 우수한 성능을 보임을 실증적으로 입증하고자 한다. 특히 큰 또는 구조화된 행동 공간에서의 성능을 중심으로 한다.

제안 방법

• SelfSparring 알고리즘을 제안하며, 각 암을 확률적 밴딧 프레임워크 내에서 선택 후보로 간주함으로써 다중 대결 밴딧 문제를 표준 다중 암 밴딧 문제로 환원한다.
• 암 간의 의존성을 효율적인 일반화를 가능하게 하기 위해 커널 함수를 사용하는 가우시안 프로세스 사전분포를 사용한다.
• 환원된 문제에 대해 톰슨 샘플링 또는 유사한 확률적 밴딧 알고리즘을 적용하여 탐색과 이용의 균형을 이룬다.
• Ailon 등(2014)의 Sparring에 영감을 받은 자체 스파링 메커니즘을 도입하지만, 원래의 방법과 달리 이론적 손실 없음 분석을 포함한다.
• 행동 공간 상에서 선호 함수를 직접 GP로 모델링하는 커널 기반 변형인 KernelSelfSparring를 도입한다.
• 합성 실험에서는 제곱 지수 커널과 로짓 링크 함수를 사용하여 유틸리티 함수로부터 선호도 확률을 생성한다.

실험 결과

연구 질문

• RQ1 동시 비교가 가능한 다중 대결 밴딧 프레임워크가 쌍별 대결 밴딧보다 낮은 손실을 달성할 수 있는가?
• RQ2 대결 밴딧 설정에서 암 간의 의존성을 효과적으로 모델링하면 샘플 효율성이 향상될 수 있는가?
• RQ3 다중 대결 문제를 GP 사전분포를 사용한 표준 밴딧 문제로 환원하면 기존의 대결 밴딧 알고리즘보다 더 낮은 손실 성능을 달성할 수 있는가?
• RQ4 제안된 방법의 성능은 암의 수가 증가함에 따라 어떻게 변화하는가? 특히 고차원 또는 연속적인 행동 공간에서의 성능을 중심으로 한다.

주요 결과

• SelfSparring는 다중 대결 설정에서 손실이 없는 성능를 달성하며, 시간에 따라 손실이 다항식보다 느리게 증가한다. 이는 많은 기존 대결 밴딧 알고리즘과 달리 암의 수에 따라 선형적으로 증가하는 것과 대비된다.
• MSLR-30K 데이터셋의 16개 암 서브셋을 사용한 시뮬레이션에서, SelfSparring는 누적 손실 측면에서 MDB 알고리즘을 크게 앞서나갔다.
• KernelSelfSparring는 커널 기반 2-대결 및 다중 대결 설정에서 BOPPER 및 GP-Sparring보다 뛰어난 성능을 보였으며, 특히 Forrester 및 Six-Hump Camel 목적 함수에서 두드러진 성능 향상을 보였다.
• SelfSparring의 손실은 암의 수가 증가함에 따라 크게 증가하지 않아, 큰 행동 공간에서의 뛰어난 확장성과 강건성을 보여주었다.
• 실증 결과에 따르면, 비교하는 암의 수가 증가할수록 SelfSparring가 기존의 대결 밴딧 방법에 비해 상대적인 성능 향상이 커진다.