[논문 리뷰] Infinite Arms Bandit: Optimality via Confidence Bounds

Hock Peng Chan, Shouri Hu|arXiv (Cornell University)|2018. 05. 30.

Advanced Bandit Algorithms Research참고 문헌 27인용 수 3

한 줄 요약

이 논문은 유한한 보상이 존재하는 무한 랜드마크 밴딧 문제를 위한 Confidence Bound Target (CBT) 알고리즘을 소개한다. 이 알고리즘은 사전 분포 또는 경험적으로 유도된 목표 값에 상대적인 신뢰 구간을 기반으로 암을 선택한다. CBT는 유한한 보상에 대해 최적의 리그레트 한계를 달성하며, 이는 이론적 하한선과 일치한다. 경험적 버전의 CBT는 사전 지식이 없이도 작동하며, 베르누이 분포 및 실제 웹 URL 데이터셋에 대한 시뮬레이션에서 기존 방법들을 능가한다.

ABSTRACT

Berry et al. (1997) initiated the development of the infinite arms bandit problem. They derived a regret lower bound of all allocation strategies for Bernoulli rewards with uniform priors, and proposed strategies based on success runs. Bonald and Proutière (2013) proposed a two-target algorithm that achieves the regret lower bound, and extended optimality to Bernoulli rewards with general priors. We present here a confidence bound target (CBT) algorithm that achieves optimality for rewards that are bounded above. For each arm we construct a confidence bound and compare it against each other and a target value to determine if the arm should be sampled further. The target value depends on the assumed priors of the arm means. In the absence of information on the prior, the target value is determined empirically. Numerical studies here show that CBT is versatile and outperforms its competitors.

연구 동기 및 목표

• 보상이 상한선이 존재하는 무한 랜드마크 밴딧 문제에서 최적의 자원 할당을 해결한다.
• 유한한 보상에 대해 이론적 리그레트 하한선을 달성하는 방법을 개발하며, 이는 이전의 베르누이 및 지수족 분포 연구를 확장한다.
• 암의 평균 분포에 대한 사전 지식이 없는 실용적 변형을 제공하기 위해 목표 값을 경험적으로 추정한다.
• 다양한 보상 분포와 실제 데이터에서 제안된 방법의 강건성과 우수성을 입증한다.

제안 방법

• 관측된 표본을 이용해 각 암의 기대 보상에 대한 상한 신뢰 구간(UCB)을 구성한다.
• 암의 평균에 대한 가정된 사전 분포를 기반으로 목표 값을 정의하며, 이는 암을 추가로 탐색할지 여부를 결정한다.
• 각 암의 신뢰 구간을 목표 값과 비교한다: 만약 구간이 목표 값을 초과하면 암을 선택하고, 그렇지 않으면 기각한다.
• 사전 분포가 알려지지 않은 경우, 초기 표본에서 목표 값을 경험적으로 추정하여 경험적 CBT 변형을 가능하게 한다.
• 유니버설 리그레트 하한선을 기준으로 하여 선택된 목표 값의 최적성 검증을 수행한다.
• 알고리즘을 순차적으로 적용하며, 시간이 지남에 따라 신뢰 구간과 목표 값을 동적으로 업데이트하여 탐색과 이용의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 유한한 보상이 존재하는 무한 랜드마크 밴딧 문제에서, 보상 기반의 신뢰 구간 기반 방법이 이론적 리그레트 하한선을 달성할 수 있는가?
• RQ2 모수적 가정에 의존하지 않고도 최적성을 보장하기 위해, 보상 기반 비교에서 목표 값을 어떻게 선택할 수 있는가?
• RQ3 진정한 사전 분포가 알려지지 않은 경우, 경험적 알고리즘의 성능은 어떠한가?
• RQ4 기존의 두 개의 목표 값 기반 알고리즘, UCB-F, POKER와 비교해 제안된 CBT 알고리즘이 리그레트와 확장성 측면에서 어떤가?
• RQ5 알려지지 않은 보상 구조를 가진 실제 데이터셋에 대해 CBT 프레임워크를 효과적으로 적용할 수 있는가?

주요 결과

• CBT 알고리즘은 유한한 보상에 대해 유니버설 리그레트 하한선을 달성하며, 모든 가능한 전략에 대해 이론적 최소 리그레트와 일치한다.
• 사전 지식이 있는 베르누이 보상의 경우, CBT는 두 개의 목표 값 기반 알고리즘과 UCB-F보다 항상 더 낮은 리그레트를 기록하며, 모든 시험 표본 크기에서 뛰어난 성능을 보인다.
• 경험적 CBT는 목표 값을 데이터로부터 추정하므로, 두 개의 목표 값 기반 알고리즘과 경쟁력 있는 성능을 보이며, 표준 기준인 ε-greedy와 ε-first보다는 유의미하게 뛰어나다.
• URL 데이터셋에서 경험적 CBT는 더 큰 표본 크기(n=1300)에서 POKER를 능가하는 리그레트 성능을 보이며, 강력한 확장성과 적응성 잠재력을 보여준다.
• 최적의 CBT는 임계값 ζ를 설정하기 위해 사전 지식이 필요하지만, 경험적 CBT는 이러한 지식 없이도 거의 최적의 성능을 달성하여 실용성이 높다.
• 수치적 결과는 CBT의 리그레트가 β=2일 때 Cn^(2/3)으로, β=3일 때는 Cn^(3/4)로 스케일링되며, 모든 설정에서 이론적 하한선에 매우 가깝게 수렴함을 보여준다.