[논문 리뷰] Regret lower bounds and extended Upper Confidence Bounds policies in stochastic multi-armed bandit problem

Antoine Salomon, Jean-Yves Audibert외 1명|arXiv (Cornell University)|2011. 12. 16.

Advanced Bandit Algorithms Research참고 문헌 22인용 수 4

한 줄 요약

이 논문은 스토하스틱 다익스트라 밴드잇 문제에 대한 대수적 정규화 하한의 일반화를 제안하며, 일致성 가정을 완화함으로써 헨난 일치성 하에서 대수적 정규화 하한이 성립하지 않음을 보여준다. 확장된 상한 신뢰 구간(UCB) 정책을 도입하고, 적응형 정책이 환경의 특성에 따라 최적의 알고리즘을 항상 선택할 수 없음을 증명하며, 특정 경우에 정규화 오차가 log log n 수준으로 증가함을 보였다.

ABSTRACT

This paper is devoted to regret lower bounds in the classical model of stochastic multi-armed bandit. A well-known result of Lai and Robbins, which has then been extended by Burnetas and Katehakis, has established the presence of a logarithmic bound for all consistent policies. We relax the notion of consistence, and exhibit a generalisation of the logarithmic bound. We also show the non existence of logarithmic bound in the general case of Hannan consistency. To get these results, we study variants of popular Upper Confidence Bounds (ucb) policies. As a by-product, we prove that it is impossible to design an adaptive policy that would select the best of two algorithms by taking advantage of the properties of the environment.

연구 동기 및 목표

• 스토하스틱 다익스트라 밴드잇 문제에서 고전적 일치성 가정을 초월하여 대수적 정규화 하한을 일반화하는 것.
• 헤난 일치성과 같은 더 약한 일치성 개념 하에서도 대수적 정규화 하한이 유지되는지 조사하는 것.
• 비표준 신뢰 구간을 갖는 확장된 UCB 정책의 성능을 분석하는 것.
• 환경의 특성에 따라 최적의 알고리즘을 선택하는 적응형 정책을 설계하는 것이 불가능함을 보여주는 것.
• 헤난 일치성 하에서 log n 보다 느린 정규화 오차 성장률이 존재함을 확립하며, 특정 환경에서는 정규화 오차가 log log n임을 보여주는 것.

제안 방법

• 저자들은 일치 조건을 헨난 일치성으로 완화하여, 다항식 이하의 정규화 오차 성장이 가능하도록 하였다.
• 인덱스 형태 $ B_{k,s,t} = \hat{X}_{k,s} + \sqrt{f_k(t)/s} $를 갖는 확장된 UCB 정책을 정의하였으며, 여기서 $ f_k(t) $ 는 증가 함수이다.
• 집중 불등식과 尾 확률 한계를 사용하여, 열등한 암을 선택하는 예상 횟수에 상한을 도출하였다.
• 만약 $ f_k(n) = o(n) $ 이고 $ f_k(n) \geq \gamma \log \log n $ 이며 $ \gamma > 1/2 $ 이라면, 정책은 헨난 일치성을 만족함을 증명하였다.
• 동일한 암이 한 환경에선 최적이고 다른 환경에선 열등한 두 환경을 갖는 반례를 구성하였다. 이 경우, 우도 비율은 유계이다.
• 이 조건 하에서 예상 정규화 오차가 $ \log \log n $ 수준으로 증가하며, $ \log n $ 수준이 아니므로 일반적인 대수적 하한이 성립하지 않음을 입증하였다.

실험 결과

연구 질문

• RQ1 대수적 정규화 하한은 고전적 일치성 가정을 초월하여 헨난 일치성과 같은 더 약한 일치 개념으로 일반화될 수 있는가?
• RQ2 환경의 특성에 따라 두 UCB 알고리즘 중 최적의 것을 선택하는 적응형 정책을 설계하는 것이 가능한가?
• RQ3 헤난 일치성 하에서 스토하스틱 밴드잇 문제에서 예상 정규화 오차의 최소 성장률은 무엇인가?
• RQ4 두 환경 간 우도 비율이 유계일 경우, 대수적 정규화 하한이 성립하지 않는가?
• RQ5 하향 대수적 $ f_k(t) $ 함수를 갖는 확장된 UCB 정책은 여전히 헨난 일치성을 달성할 수 있는가?

주요 결과

• 반례를 통해 헨난 일치성 정책에 대해서도 대수적 정규화 하한이 일반적으로 성립하지 않음을 입증하였으며, 정규화 오차가 $ \log \log n $ 수준으로 증가함을 보였다.
• 디라크 분포 $ \delta_a $ 와 $ \delta_b $ 를 갖는 환경에서는, $ f_k(n) = \log \log n $ 인 확장된 UCB의 예상 정규화 오차가 $ O(\log \log n) $ 이며, $ O(\log n) $ 가 아니라는 점을 보였다.
• 환경의 특성에 따라 두 UCB 변종 중 최적의 알고리즘을 항상 선택할 수 있는 적응형 정책은 존재하지 않음을 증명하였으며, 이는 상호 모순되는 정보 요구 조건 때문이었다.
• $ f_k(n) \geq \gamma \log \log n $ 이며 $ \gamma > 1/2 $ 라면, 확장된 UCB 정책은 헨난 일치성을 만족한다.
• 열등한 암의 선택 횟수는 $ \frac{f_k(n)}{\Delta^2} + 1 $ 이하로 상한이 존재하며, 이는 특정 설정에서 하향 대수적 정규화 오차를 유도한다.
• 한 암을 제외하고 동일한 분포를 갖는 두 환경이 존재하며, 그 암이 한 환경에선 최적이고 다른 환경에선 열등한 경우, 대수적 정규화 하한이 붕괴됨을 보였다.