[논문 리뷰] Combinatorial Multi-Armed Bandit with General Reward Functions

Wei Chen, Wei Hu외 4명|arXiv (Cornell University)|2016. 10. 20.

Advanced Bandit Algorithms Research참고 문헌 23인용 수 73

한 줄 요약

이 논문은 일반적인 비선형 보상 함수(예: max 및 비선형 유틸리티 함수)를 갖는 조합적 다익음 밴드잇(Combinatorial Multi-Armed Bandits)에 대해 기대 보상이 평균이 아닌 전체 분포에 의존하는 경우를 다루는 Stochastically Dominant Confidence Bound (SDCB) 알고리즘을 제안한다. SDCB는 분포와 그들의 확률적으로 지배하는 신뢰구간을 추정하여, 분포 기반으로 O(log T)의 분포 의존적 및 Õ(√T)의 분포 독립적 최소 손실을 달성하며, K-MAX 문제에 대해 처음으로 다항시간 근사법(Polynomial-Time Approximation Scheme, PTAS)과 Õ(√T)의 (1−ε)-근사 최소 손실을 달성한다.

ABSTRACT

In this paper, we study the stochastic combinatorial multi-armed bandit (CMAB) framework that allows a general nonlinear reward function, whose expected value may not depend only on the means of the input random variables but possibly on the entire distributions of these variables. Our framework enables a much larger class of reward functions such as the $\max()$ function and nonlinear utility functions. Existing techniques relying on accurate estimations of the means of random variables, such as the upper confidence bound (UCB) technique, do not work directly on these functions. We propose a new algorithm called stochastically dominant confidence bound (SDCB), which estimates the distributions of underlying random variables and their stochastically dominant confidence bounds. We prove that SDCB can achieve $O(\log{T})$ distribution-dependent regret and $ ilde{O}(\sqrt{T})$ distribution-independent regret, where $T$ is the time horizon. We apply our results to the $K$-MAX problem and expected utility maximization problems. In particular, for $K$-MAX, we provide the first polynomial-time approximation scheme (PTAS) for its offline problem, and give the first $ ilde{O}(\sqrt T)$ bound on the $(1-ε)$-approximation regret of its online problem, for any $ε>0$.

연구 동기 및 목표

• 기존의 조합적 다익음 밴드잇(CMAB) 프레임워크가 선형 또는 평균에 의존하는 보상 함수에 의존하는 한계를 해결하기 위해.
• 기대 보상이 랜덤 변수의 전체 분포에 의존하는 보상 함수(예: max() 및 비선형 유틸리티 함수)에 대해 온라인 학습을 가능하게 하기 위해.
• 정확한 평균 추정이 필요하지 않은 일반적인 비선형 보상 함수를 처리할 수 있는 알고리즘을 개발하기 위해.
• 일반적인 비선형 보상 함수에 대해 분포 의존적 및 분포 독립적 설정 모두에서 이론적 최소 손실 범위를 제공하기 위해.
• 오프라인 K-MAX 문제에 대해 처음으로 다항시간 근사법(PTAS)을 확립하고, 그 온라인 변형에 대해 Õ(√T)의 (1−ε)-근사 최소 손실 범위를 확보하기 위해.

제안 방법

• 기본 랜덤 변수의 전체 분포와 그들의 확률적으로 지배하는 신뢰구간을 추정하는 Stochastically Dominant Confidence Bound (SDCB) 알고리즘을 제안한다.
• 분포 추정을 활용하여 진정한 분포를 확률적으로 지배하는 신뢰구간을 구성함으로써, 불확실성 하에서의 견고한 의사결정을 가능하게 한다.
• SDCB 프레임워크를 K-MAX 문제와 비선형 유틸리티 함수를 갖는 기대 유틸리티 최적화(EUM) 문제에 적용한다.
• 지속적인 분포에 대해 최적화된 변형인 Lazy-SDCB를 도입하여, 전체 분포 추정을 연기함으로써 계산 비용을 절감한다.
• 온라인 학습에서 서브모듈라 함수 피드백을 활용하여 조합적 슈퍼 암을 처리하며, 선택된 암당 증분 보상 피드백을 사용한다.
• 이론적 최소 손실 범위를 증명한다: 일반적인 보상 함수 하에서 SDCB는 분포 의존적 최소 손실 O(log T) 및 분포 독립적 최소 손실 Õ(√T)을 달성한다.

실험 결과

연구 질문

• RQ1 기대 보상이 평균이 아닌 전체 분포에 의존하는 일반적인 비선형 보상 함수를 갖는 조합적 다익음 밴드잇에 대해, 온라인 학습 알고리즘을 설계할 수 있는가?
• RQ2 이러한 일반적인 보상 함수에 대해 분포 의존적 및 분포 독립적 설정 모두에서 달성 가능한 최적의 최소 손실 범위는 무엇인가?
• RQ3 기대 최대 보상의 최대화를 목표로 하는 오프라인 K-MAX 문제에 대해 다항시간 근사법(PTAS)을 달성할 수 있는가?
• RQ4 임의의 ε>0에 대해 온라인 K-MAX 문제에 대해 Õ(√T)의 (1−ε)-근사 최소 손실을 달성할 수 있는가?
• RQ5 비선형 보상 함수 하에서 학습을 지원하기 위해 분포와 그들의 신뢰구간을 효율적으로 추정하는 방법은 무엇인가?

주요 결과

• SDCB는 일반적인 비선형 보상 함수(예: max 및 비선형 유틸리티 함수 포함)에 대해 O(log T)의 분포 의존적 최소 손실과 Õ(√T)의 분포 독립적 최소 손실을 달성한다.
• K-MAX 문제에 대해, 본 논문은 오프라인 문제에 대해 처음으로 다항시간 근사법(PTAS)을 제시하며, 이는 이전에 열려 있던 문제를 해결한다.
• 본 논문은 온라인 K-MAX 문제에 대해 처음으로 Õ(√T)의 (1−ε)-근사 최소 손실 범위를 확립한다. 이는 임의의 ε>0에 대해 유효하다.
• 실험 결과, SDCB와 Lazy-SDCB는 모든 테스트 분포에서 기준 온라인 서브모듈라 최적화 알고리즘(Algorithm 8)보다 1-근사 최소 손실 측면에서 뚜렷한 성능 향상을 보였다.
• Lazy-SDCB는 지속적인 분포에서 SDCB보다 더 효율적이며, 분포 4에서 그 효율성이 입증되었으며, 최소 손실 성능을 희생시키지 않고 계산 오버헤드를 감소시켰다.
• 결과는 비선형 보상 함수의 경우 전체 분포 학습이 필수적임을 보여주며, 평균만 추정하는 접근법은 진정한 기대 보상 행동을 포착하지 못한다.