[논문 리뷰] Unimodal Bandits without Smoothness

Richard Combes, Alexandre Proutière|arXiv (Cornell University)|2014. 06. 28.

Advanced Bandit Algorithms Research참고 문헌 20인용 수 13

한 줄 요약

이 논문은 연속적인 암호를 가진 단일 최적화 문제를 위한 Stochastic Pentachotomy (SP) 알고리즘을 제안한다. 여기서 기대 보상은 연속적이고 단일 최적화이지만 반드시 매끄럽지 않을 수 있다. SP는 순차적인 통계적 검정을 사용하여 최적의 암호를 포함하는 간격을 반복적으로 좁히며, 보상 함수의 매끄러움 파라미터 ξ와 C를 알지 못해도 순서적으로 최적의 오차 $O(\sqrt{T\log T})$와 최적화 오차 $O(\sqrt{\log T / T})$를 달성한다. 이는 매끄럽지 않거나 매끄러움 파라미터를 알 수 없는 보상 함수에 대해 이전에 없었던 스케일링을 달성한 최초의 방법이다.

ABSTRACT

We consider stochastic bandit problems with a continuous set of arms and where the expected reward is a continuous and unimodal function of the arm. No further assumption is made regarding the smoothness and the structure of the expected reward function. For these problems, we propose the Stochastic Pentachotomy (SP) algorithm, and derive finite-time upper bounds on its regret and optimization error. In particular, we show that, for any expected reward function $μ$ that behaves as $μ(x)=μ(x^\star)-C|x-x^\star|^ξ$ locally around its maximizer $x^\star$ for some $ξ, C>0$, the SP algorithm is order-optimal. Namely its regret and optimization error scale as $O(\sqrt{T\log(T)})$ and $O(\sqrt{\log(T)/T})$, respectively, when the time horizon $T$ grows large. These scalings are achieved without the knowledge of $ξ$ and $C$. Our algorithm is based on asymptotically optimal sequential statistical tests used to successively trim an interval that contains the best arm with high probability. To our knowledge, the SP algorithm constitutes the first sequential arm selection rule that achieves a regret and optimization error scaling as $O(\sqrt{T})$ and $O(1/\sqrt{T})$, respectively, up to a logarithmic factor for non-smooth expected reward functions, as well as for smooth functions with unknown smoothness.

연구 동기 및 목표

• 보상 함수의 매끄러움이 알려져 있거나 존재하지 않을 때 연속적인 암호를 가진 단일 최적화 밴딧 문제의 도전 과제를 해결한다.
• 리프시츠 연속성이나 미분 가능성과 같은 매끄러움 가정에 의존하지 않고 최적의 오차와 최적화 오차 스케일링을 달성하는 알고리즘을 설계한다.
• 최소한의 구조적 가정 하에 단일 최적화 밴딧 문제에서 알려진 하한값과 달성 가능한 성능 사이의 격차를 메운다.
• 최적의 암호를 높은 확률로 포함하는 간격을 유지하면서 순차적 검정 프레임워크를 개발하여 검색 간격을 적응적으로 좁힌다.
• 비매끄러운 보상 함수를 포함한 광범위한 단일 최적화 보상 함수 클래스에 대해 $O(\sqrt{T\log T})$의 오차와 $O(\sqrt{\log T / T})$의 최적화 오차를 달성한다.

제안 방법

• SP 알고리즘은 높은 확률로 최적의 암호를 포함하는 간격을 유지하고, 순차적인 통계적 검정을 사용하여 이를 반복적으로 축소한다.
• 각 간격 축소 단계는 간격 내에서 최소 세 개의 암호를 샘플링하여 간격 축소에 필요한 통계적 증거를 확보하는 순차적 검정을 사용한다.
• 유한 시간 하한을 사용하여 순차적 검정의 샘플링 복잡도에 대한 하한을 확보하고, 이 하한을 충족하는 최적의 검정을 설계한다.
• 순차적 검정은 칼리브라-라이블러 발산과 농도 부등식에 기반하여 오류 확률을 제어하고 높은 신뢰도의 간격 축소를 보장한다.
• 황금절단 탐색이나 두 점 샘플링에 의존하지 않으며, 이는 비매끄러운 환경에서 최적의 스케일링을 달성하는 데 부적합하다는 것이 입증되었다.
• 알고리즘은 보상 함수 $\mu(x) = \mu(x^\star) - C|x - x^\star|^\xi$ 의 국소적 행동에 적응하지만, $\xi$ 또는 $C$ 를 알 필요가 없다.

실험 결과

연구 질문

• RQ1 보상 함수의 매끄러움을 가정하거나 매끄러움 파라미터 $\xi$ 를 알지 못하는 경우에도 단일 최적화 보상 함수에 대해 순서적으로 최적의 오차와 최적화 오차를 달성할 수 있는 밴딧 알고리즘이 존재하는가?
• RQ2 최적의 암호를 높은 확률로 포함하면서도 샘플링 비용을 최소화하는 순차적 간격 축소 절차를 설계할 수 있는가?
• RQ3 황금절단 탐색과 같은 두 점 샘플링 전략이 비매끄러운 환경에서 최적의 오차 스케일링을 달성하지 못하는 이유는 무엇인가?
• RQ4 최적의 성능을 달성하기 위해 간격 축소 단계당 최소한 몇 개의 내부 샘플이 필요한가?
• RQ5 주어진 최소 최대 위험도에 대해 샘플링 복잡도의 유한 시간 하한을 충족하는 순차적 검정을 구성할 수 있는가?

주요 결과

• SP 알고리즘은 $\mu(x) = \mu(x^\star) - C|x - x^\star|^\xi$ 근처에서 행동하는 임의의 단일 최적화이자 연속적인 보상 함수에 대해 $\xi$ 또는 $C$ 를 알지 못해도 $O(\sqrt{T\log T})$의 오차 스케일링을 달성한다.
• SP 알고리즘의 최적화 오차는 $O(\sqrt{\log T / T})$로 스케일링되며, 알려진 하한값에 로그 인자까지 일치한다.
• 알 수 없는 매끄러움에 대해 비매끄러운 보상 함수와 매끄러운 보상 함수 모두에서 SP 알고리즘은 순서적으로 최적의 성능을 달성하며, 매끄러움 지식이 필요한 기존 방법보다 뛰어나다.
• KL 발산과 농도 부등식에 기반한 순차적 검정은 샘플링 복잡도 측면에서 최적이며, 유한 시간 하한을 충족한다.
• 샘플링을 간격 내 두 개의 암호로만 수행하는 것(황금절단 탐색 방식)은 최적의 오차 스케일링을 달성하는 데 부적합하며, 최소 세 개의 내부 샘플이 필요하다는 것이 입증되었다.
• 수치 실험 결과, SP는 매끄러움을 알고 있다고 가정하는 기존 알고리즘보다 비매끄러운 환경에서 뚜렷이 뛰어나게 성능을 발휘한다.