[논문 리뷰] On Kernelized Multi-armed Bandits

Sayak Ray Chowdhury, Aditya Gopalan|arXiv (Cornell University)|2017. 04. 03.

Advanced Bandit Algorithms Research참고 문헌 24인용 수 23

한 줄 요약

이 논문은 연속적 암보 스토케스틱 밴딧 문제를 위한 새로운 가우시안 프로세스 기반 알고리즘인 IGP-UCB와 GP-Thompson Sampling(GP-TS)을 제안하며, 무한차원 마틴게일에 대한 자기정규화된 농도 불등식을 활용하여 개선된 리그레트 경계를 달성한다. 주요 기여는 GP-UCB에 비해 순서적으로 향상된 리그레트 성능를 확보하고, RKHS 구조를 가진 비모수 밴딧에서 톰슨 샘플링에 대해 알려진 최초의 리그레트 경계를 확보한 것이다.

ABSTRACT

We consider the stochastic bandit problem with a continuous set of arms, with the expected reward function over the arms assumed to be fixed but unknown. We provide two new Gaussian process-based algorithms for continuous bandit optimization-Improved GP-UCB (IGP-UCB) and GP-Thomson sampling (GP-TS), and derive corresponding regret bounds. Specifically, the bounds hold when the expected reward function belongs to the reproducing kernel Hilbert space (RKHS) that naturally corresponds to a Gaussian process kernel used as input by the algorithms. Along the way, we derive a new self-normalized concentration inequality for vector- valued martingales of arbitrary, possibly infinite, dimension. Finally, experimental evaluation and comparisons to existing algorithms on synthetic and real-world environments are carried out that highlight the favorable gains of the proposed strategies in many cases.

연구 동기 및 목표

• 모르는 보상 함수를 가진 연속적 암보 집합에서의 순차 최적화 문제에 대응하기 위해.
• 핵심화된 다중암보 밴딧에서 신뢰구간과 탐색 전략을 개선하여 리그레트 성능을 향상시키기 위해.
• 이론적 리그레트 보장을 갖춘 비모수 톰슨 샘플링 변형을 개발하기 위해.
• 무한차원 벡터값 마틴게일에 대한 새로운 자기정규화된 농도 불등식을 수립하기 위해.
• 합성 및 실제 환경에서 기존의 GP 기반 방법들과의 비교를 통해 제안된 알고리즘의 경험적 타당성을 검증하기 위해.

제안 방법

• 후행 분산 갱신을 개선한 IGP-UCB를 GP-UCB의 변형으로 제안하며, 이로 인해 신뢰구간 폭이 크게 감소한다.
• 유한차원 결과를 일반화한 무한차원 벡터값 마틴게일에 대한 새로운 자기정규화된 농도 불등식을 유도한다.
• 핵심화된 연속 밴딧에 특화된 비모수 톰슨 샘플링 알고리즘인 GP-Thompson Sampling(GP-TS)을 도입한다.
• 알려진 커널을 가진 가우시안 프로세스 사전분포를 사용하여 모르는 보상 함수를 모델링하고 순차적으로 신뢰도를 갱신한다.
• 행렬 역행렬 보조정식을 활용한 재귀적 갱신 규칙을 적용하여 후행 평균과 분산을 유지함으로써 계산 효율성을 확보한다.
• IGP-UCB는 후행 분포에 기반한 상위 신뢰경계에 기반한 암보 선택을 하고, GP-TS는 후행 분포에 기반한 사후 샘플링을 통해 암보를 선택한다.

실험 결과

연구 질문

• RQ1 GP-UCB의 신뢰구간 폭을 줄여 연속적 암보 밴딧에서 증명 가능한 더 나은 리그레트 경계를 달성할 수 있는가?
• RQ2 RKHS-구조를 가진 보상 함수를 가진 비모수적, 무지식적 설정에서 톰슨 샘플링에 대한 리그레트 경계를 유도할 수 있는가?
• RQ3 핵심화된 밴딧에서 무한차원 후행 불확실성 분석을 위해 필요한 새로운 농도 불등식은 무엇인가?
• RQ4 제안된 알고리즘은 합성 및 실제 환경에서 기존의 GP 기반 밴딧 방법들과 비교해 리그레트와 내성에 있어 어떻게 성능을 발휘하는가?
• RQ5 모델 잘못설정이 IGP-UCB와 GP-TS의 성능에 미치는 영향은 무엇인가?

주요 결과

• IGP-UCB는 개선된 분석을 통해 신뢰구간 폭을 줄임으로써 GP-UCB에 비해 순서적으로 향상된 리그레트 성능를 달성한다.
• GP-Thompson Sampling는 Õ(γ_T√(dT))의 리그레트 경계를 달성하였으며, 이는 무지식한 비모수 밴딧 설정에서 톰슨 샘플링에 대해 알려진 최초의 경계이다.
• 제안된 무한차원 마틴게일에 대한 자기정규화된 농도 불등식은 리그레트 경계 유도에 핵심적인 역할을 하며, 더 넓은 이론적 응용 가능성을 지닌다.
• 경험적 평가 결과, IGP-UCB와 GP-TS는 합성 및 실제 환경에서 누적 리그레트 측면에서 기존의 GP 기반 알고리즘을 모두 능가하는 것으로 나타났다.
• 알고리즘들은 모델 잘못설정 상황에서도 내성적인 성능을 유지하여 이상적인 가정을 초월한 실용적 타당성을 보였다.