[논문 리뷰] Simple regret for infinitely many armed bandits

Alexandra Carpentier, Michal Vaľko|arXiv (Cornell University)|2015. 05. 18.

Advanced Bandit Algorithms Research참고 문헌 26인용 수 31

한 줄 요약

이 논문은 유한한 수의 암호가 아닌 무한한 수의 암호가 있는 밴딧 설정에서 단일 최적 암호를 선택한 후 단순 손실을 최소화하기 위한 새로운 알고리즘인 SiRI를 소개한다. 학습자가 n라운드 동안만 샘플을 확보할 수 있을 때, SiRI는 저류 분포의 β-정규성 매개변수에 따라 암호를 적응적으로 샘플링함으로써, 다양한 β 범위에서 최소 최대 손실률을 달성한다. 이는 로그 인자까지 고려할 때 최적의 성능을 보이며, 누적 손실 최소화 알고리즘보다 단일 암호 식별 작업에서 뛰어난 성능을 보인다.

ABSTRACT

We consider a stochastic bandit problem with infinitely many arms. In this setting, the learner has no chance of trying all the arms even once and has to dedicate its limited number of samples only to a certain number of arms. All previous algorithms for this setting were designed for minimizing the cumulative regret of the learner. In this paper, we propose an algorithm aiming at minimizing the simple regret. As in the cumulative regret setting of infinitely many armed bandits, the rate of the simple regret will depend on a parameter $β$ characterizing the distribution of the near-optimal arms. We prove that depending on $β$, our algorithm is minimax optimal either up to a multiplicative constant or up to a $\log(n)$ factor. We also provide extensions to several important cases: when $β$ is unknown, in a natural setting where the near-optimal arms have a small variance, and in the case of unknown time horizon.

연구 동기 및 목표

• 단일 최적 암호를 선택해야 하는 무한한 수의 암호가 존재하는 환경에서, n개의 샘플만 확보 가능한 상황에서의 도전 과제를 해결하기 위해.
• 누적 손실에서 단순 손실으로의 초점을 이동시키며, 선택된 암호와 진정한 최적 암호 간의 격차를 측정하기 위해.
• 암호 저류 분포의 알려지지 않은 β-정규성 매개변수에 적응하는 알고리즘을 설계하기 위해.
• 로그 인자까지 고려할 때 최소 최대 최적의 단순 손실에 대한 이론적 보장을 제공하기 위해.
• 알 수 없는 시간 수명과 알려지지 않은 β에 대응할 수 있도록 알고리즘을 확장하여 실용적 적용성을 확보하기 위해.

제안 방법

• SiRI는 이중 단계 샘플링 전략을 사용한다: 초기 샘플에서 β를 추정한 후, 나머지 샘플을 추정된 β에 기반해 암호에 할당한다.
• 신뢰구간 기반의 암호 선택 메커니즘을 사용하여, 경험적 평균과 분산에 기반해 잠재력이 높은 암호를 우선순위로 정한다.
• 알고리즘은 근접 최적의 암호 분포를 모델링하기 위해 β-정규성 가정을 사용한다. 이는 P(μ* − μ ≥ ε) ≈ ε^β로 표현된다.
• 단순 손실 최소화에 맞게 조정된 UCB 스타일의 탐색 전략을 적용하며, 신뢰구간은 β에 의존하는 항으로 스케일링된다.
• 이算法는 이중화 기법과 UCB-AIR에 영향을 받은 기법을 사용하여, 알 수 없는 시간 수명에 대응하는 '언제나' 알고리즘으로 구현된다.
• 이론적 보장이 있는 샘플의 부분집합을 사용해 β를 추정한다.

실험 결과

연구 질문

• RQ1 무한한 수의 암호가 존재하는 밴딧 설정에서, n라운드 후 단일 암호를 선택할 때 단순 손실을 최적화할 수 있는가?
• RQ2 암호 저류 분포의 β-정규성 매개변수에 따라 단순 손실의 최소 최대 속도는 어떻게 달라지는가?
• RQ3 사전에 β를 알지 못해도 단순 손실에 대해 최소 최대 최적성을 달성할 수 있는 알고리즘을 설계할 수 있는가?
• RQ4 알 수 없는 시간 수명에 대응할 수 있도록 알고리즘을 강화하면서도 근접 최적의 단순 손실을 유지할 수 있는가?
• RQ5 SiRI의 성능은 UCB-F와 같은 누적 손실 최소화 알고리즘과 lil’UCB와 같은 최적 암호 식별 알고리즘과 비교해 어떻게 되는가?

주요 결과

• SiRI는 고확률적으로 O(polylog(n) × max(n^{-1/2}, n^{-1/β} polylog n))의 단순 손실률을 달성하며, 이는 로그 인자까지 고려할 때 최소 최대 최적이다.
• β < 2일 경우 단순 손실률은 n^{-1/2}에 의해 지배되며, β > 2일 경우 n^{-1/β}에 의해 지배되며, 이는 β가 문제의 복잡성에 미치는 영향을 반영한다.
• β가 알려지지 않은 경우, 추정된 β를 사용하는 SiRI(표기: β̄-SiRI)도 여전히 최적 손실률의 다항로그(n) 인자 내에서 성능을 달성한다.
• 수치 실험 결과, SiRI는 최적의 암호 수를 갖추고 있을 경우 lil’UCB와 유사한 성능을 보이며, 최적 암호 식별에서의 효과성을 검증한다.
• 누적 손실 최소화를 목적으로 한 UCB-F는 더 큰 β 값에서 성능이 열 劣하므로, 단순 손실 최소화를 위한 누적 손실 최소화 전략은 최적성이 아님을 확인한다.
• β가 데이터에서 추정되더라도 알고리즘이 효과적으로 유지되며, √n개의 샘플로 β를 추정할 경우 성능 저하가 최소한이다.