[논문 리뷰] Unimodal Bandits: Regret Lower Bounds and Optimal Algorithms

Richard Combes, Alexandre Proutière|arXiv (Cornell University)|2014. 05. 20.

Advanced Bandit Algorithms Research참고 문헌 24인용 수 42

한 줄 요약

이 논문은 단일 최적 암을 중심으로 단조 증가/감소하는 보상 구조를 가진 다항보상 문제에 대해 최적의 알고리즘인 OSUB을 제안한다. 이는 암의 수와 무관하게 새로운 하한에 맞는 渐近적 오차를 달성한다. 특별히 시간 수평선이 암의 수에 비해 클 경우, 목표에 맞는 샘플링을 통해 OSUB은 LSE와 같은 기존 방법들을 능가한다.

ABSTRACT

We consider stochastic multi-armed bandits where the expected reward is a unimodal function over partially ordered arms. This important class of problems has been recently investigated in (Cope 2009, Yu 2011). The set of arms is either discrete, in which case arms correspond to the vertices of a finite graph whose structure represents similarity in rewards, or continuous, in which case arms belong to a bounded interval. For discrete unimodal bandits, we derive asymptotic lower bounds for the regret achieved under any algorithm, and propose OSUB, an algorithm whose regret matches this lower bound. Our algorithm optimally exploits the unimodal structure of the problem, and surprisingly, its asymptotic regret does not depend on the number of arms. We also provide a regret upper bound for OSUB in non-stationary environments where the expected rewards smoothly evolve over time. The analytical results are supported by numerical experiments showing that OSUB performs significantly better than the state-of-the-art algorithms. For continuous sets of arms, we provide a brief discussion. We show that combining an appropriate discretization of the set of arms with the UCB algorithm yields an order-optimal regret, and in practice, outperforms recently proposed algorithms designed to exploit the unimodal structure.

연구 동기 및 목표

• 부분적으로 순서가 매겨진 암들 사이에서 단조 증가/감소 보상 구조를 가진 다항보상 문제에 도전하며, 기대 보상이 유일한 최적 암에서 최고에 도달하는 경우를 다룬다.
• 그래프 크기나 암의 수에 영향을 받지 않는, 단조 증가/감소 보상 문제에 대한 渐近적 오차 하한을 유도한다. 이는 문제의 본질적 어려움을 반영한다.
• 현재 최적 암 추정치에 가까운 암들에 대해 최적의 샘플링 전략을 적용함으로써 이 하한을 달성하는 새로운 알고리즘 OSUB을 제안한다.
• 보상이 부드럽게 변화하는 비정적 환경에서 OSUB의 성능을 분석하며, 단조 증가/감소 성질이 유지되는 경우를 고려한다.
• 이론적 분석과 실험을 통해 이산화 기반 UCB 방법이 순서적으로 최적일 수 있음을 보이며, 연속적인 환경에서 전용 단조 증가/감소 알고리즘보다 뛰어난 성능을 보임을 입증한다.

제안 방법

• 정보 이론적 접근을 통해 渐近적 오차 하한을 유도하며, 최적 오차가 암의 수나 그래프 구조와는 무관하게 최적 암과의 격차에만 의존함을 보인다.
• 현재 최고 성능을 보이는 암의 주변부에 집중하여 탐색과 이용의 균형을 이루는 방식으로 암을 샘플링하는 OSUB을 설계하며, 신뢰구간 기반 선택 규칙에 따라 이뤄진다.
• 두 단계 샘플링 전략을 사용한다: 첫 번째로 현재 최적 추정치의 주변부 암들을 탐색하고, 두 번째로는 이론적 성능이 높은 영역을 집중적으로 탐색하기 위해 로그 스케줄 기반 샘플링을 적용한다.
• 유한 시간 오차 분석을 통해 $ O( au eta ho au + K) $ 의 상한을 유도한다. 여기서 $ au $ 는 시간 수평선, $ eta $ 는 최대 차수, $ K $ 는 암의 수이다.
• 보상이 시간에 따라 부드럽게 변화하는 비정적 환경으로 분석을 확장하며, 이러한 동역학 하에서 OSUB이 하향선형 오차를 유지함을 보였다.
• 연속적인 암에 대해서는 이산화 기반의 구조를 제안하고 UCB와 결합함으로써 순서 최적성의 증명과 함께, 실질적으로 전용 단조 증가/감소 알고리즘보다 뛰어난 성능을 보임을 입증한다.

실험 결과

연구 질문

• RQ1 암의 수나 그래프 크기와 무관하게, 단조 증가/감소 보상 문제에 대한 기본적인 渐近적 오차 하한은 무엇인가?
• RQ2 단조 증가/감소 보상의 구조를 활용하여 이 하한을 달성할 수 있는 알고리즘을 설계할 수 있는가?
• RQ3 OSUB의 오차는 기존 알고리즘인 LSE와 비교해 암의 수와 시간 수평선에 따라 어떻게 변화하는가?
• RQ4 보상이 시간에 따라 부드럽게 변화하는 비정적 환경에서 OSUB의 성능은 어떠한가?
• RQ5 간단한 연속 암의 이산화와 UCB의 조합이 순서적으로 최적의 오차를 달성하고, 전용 단조 증가/감소 알고리즘을 능가할 수 있는가?

주요 결과

• 단조 증가/감소 보상 문제에 대한 渐近적 오차 하한은 $ O( au eta ho au) $ 이며, 고전적 다항보상 문제의 하한과 일치하며, 암의 수나 그래프 크기에 영향을 받지 않는다.
• OSUB는 이 하한을 달성하여 渐近적으로 최적임을 입증하며, 암의 수에 관계없이 오차가 독립적임을 보였다.
• OSUB의 유한 시간 오차는 $ O( au eta ho au + K) $ 이하로 상한이 설정되며, $ T o au $ 이고 $ T o au $ 일 때 LSE의 $ O( au eta D au) $ 보다 향상되며, 특히 큰 $ T $ 에서 두드러진다.
• 보상이 부드럽게 변화하는 비정적 환경에서 OSUB은 하향선형 오차를 유지하며, 시간에 따라 변화하는 보상에 대한 강건성을 입증했다.
• 연속적인 암에 대해서는 간단한 간격 이산화와 UCB의 조합이 순서적으로 최적의 오차를 달성하며, 실질적으로 전용 단조 증가/감소 알고리즘보다 뛰어난 성능을 보였다.
• 수치 실험 결과, OSUB가 암의 수가 시간 수평선에 비해 작을 경우 LSE 및 고전적 UCB를 크게 능가함을 확인했다.