[논문 리뷰] Lipschitz Bandits: Regret Lower Bounds and Optimal Algorithms

Stefan Magureanu, Richard Combes외 1명|arXiv (Cornell University)|2014. 05. 19.

Advanced Bandit Algorithms Research인용 수 62

한 줄 요약

이 논문은 기대 보상이 리프시츠 연속 함수인 스 tochastic 다항 보상 밴딧 문제에 대해 渐近적으로 최적인 알고리즘인 OSLB(Optimal Sampling for Lipschitz Bandits)를 소개한다. 문제에 특화된 리그레트 하한을 유도하고, OSLB가 이 하한과 일치함을 증명한다. 또한 계산 복잡도를 낮추기 위해 CKL-UCB를 제안하며, 가중치 합에 대한 KL 발산의 새로운 농도 부등식을 사용해 구조화된 보상 밴딧 설정에서 날카운 감도 신뢰구간을 가능하게 한다.

ABSTRACT

We consider stochastic multi-armed bandit problems where the expected reward is a Lipschitz function of the arm, and where the set of arms is either discrete or continuous. For discrete Lipschitz bandits, we derive asymptotic problem specific lower bounds for the regret satisfied by any algorithm, and propose OSLB and CKL-UCB, two algorithms that efficiently exploit the Lipschitz structure of the problem. In fact, we prove that OSLB is asymptotically optimal, as its asymptotic regret matches the lower bound. The regret analysis of our algorithms relies on a new concentration inequality for weighted sums of KL divergences between the empirical distributions of rewards and their true distributions. For continuous Lipschitz bandits, we propose to first discretize the action space, and then apply OSLB or CKL-UCB, algorithms that provably exploit the structure efficiently. This approach is shown, through numerical experiments, to significantly outperform existing algorithms that directly deal with the continuous set of arms. Finally the results and algorithms are extended to contextual bandits with similarities.

연구 동기 및 목표

• 이산 리프시츠 밴딧에 대해 기대 보상이 암호화된 보상 함수의 리프시츠 연속성 조건을 만족할 때, 渐近적으로 문제에 특화된 리그레트 하한을 수립한다.
• 유도된 리그레트 하한과 일치함으로써 渐近적으로 최적성을 확보하는 OSLB 알고리즘을 설계하고 분석한다.
• 구조화된 탐색을 유지하면서도 계산 비용을 낮춘 OSLB의 효율적인 대안으로서 CKL-UCB를 개발한다.
• 암호화된 보상 함수의 리프시츠 구조를 활용해 암호화된 보상 함수를 이산화한 후 OSLB 또는 CKL-UCB를 적용함으로써 연속 리프시츠 밴딧으로의 확장을 시도하며, 직접적인 연속 방법에 비해 뛰어난 성능을 입증한다.
• 유사성 구조를 가진 컨텍스트 밴딧으로 결과를 일반화하여 제안된 알고리즘의 적용 가능성을 확장한다.

제안 방법

• 진짜 보상 구조와 리프시츠 연속성에 기반해 이산 리프시츠 밴딧에 대해 문제에 특화된 渐近적 리그레트 하한을 유도한다.
• KL 발산에서 유도된 신뢰구간을 기반으로 샘플링 노력의 최적 배분을 위한 선형 프로그래밍 설정을 사용하는 OSLB 알고리즘을 제안한다.
• 실제 보상 분포와 경험적 분포 간의 가중치 합에 대한 새로운 농도 부등식을 도입하여, 구조화된 밴딧 설정에서 날카운 신뢰구간을 가능하게 한다.
• 이전 관측에서 드러난 리프시츠 구조를 활용해 암호화된 보상 공간을 이산화한 후 OSLB 및 CKL-UCB를 연속 밴딧에 적용한다.
• 새로운 농도 부등식을 사용한 유한 시간 리그레트 분석을 통해 OSLB 및 CKL-UCB의 성능을 유계로 제한하며, 시간이 증가함에 따라 하한에 수렴함을 보여준다.
• 컨텍스트와 암호화된 보상 간의 유사성 구조를 모델링하여 프레임워크를 컨텍스트 밴딧으로 확장하며, OSLB 및 CKL-UCB 원칙을 이 설정에 적응시킨다.

실험 결과

연구 질문

• RQ1 이산 리프시츠 밴딧의 渐近적 리그레트 하한은 무엇이며, 이는 특정 보상 구조에 어떻게 의존하는가?
• RQ2 유도된 하한과 渐近적으로 일치하는 리그레트를 가지는 알고리즘을 설계할 수 있는가?
• RQ3 암호화된 보상 함수의 리프시츠 구조는 이산 및 연속 밴딧 문제에서 어떻게 효율적으로 활용될 수 있는가?
• RQ4 OSLB 및 CKL-UCB의 유한 시간 성능 보장은 무엇이며, 기존 알고리즘과 비교해 어떻게 되는가?
• RQ5 제안된 프레임워크는 유사성 구조를 가진 컨텍스트 밴딧으로 확장될 수 있는가?

주요 결과

• 논문은 진짜 보상 값과 리프시츠 구조에 명시적으로 의존하는 이산 리프시츠 밴딧에 대해 문제에 특화된 渐近적 리그레트 하한을 수립한다.
• OSLB는 유도된 하한과 일치함을 증명하여, 시간 수평선이 길어질수록 渐近적으로 최적임을 입증한다.
• OSLB의 유한 시간 리그레트는 $ C^{ heta}( heta)(1+ heta) frac{ ext{log}(T)}{ ext{log}(T)} + O( ext{log log}(T)) $ 로 유계로 제한되며, $ heta \to 0 $ 일 때 하한에 수렴한다.
• CKL-UCB는 OSLB보다 낮은 계산 복잡도를 가지면서도 리프시츠 구조를 효과적으로 활용하여 뛰어난 성능을 달성한다.
• 수치 실험 결과, 연속 암호화된 보상 공간을 이산화하고 OSLB 또는 CKL-UCB를 적용하는 것이 직접 연속 암호화된 보상 다루는 알고리즘보다 뛰어난 성능을 보인다.
• 가중치 합에 대한 KL 발산의 제안된 농도 부등식은 지수 가족 분포를 포함한 다른 구조화된 밴딧 문제에 적용 가능한 일반 목적의 도구이다.