[논문 리뷰] Asymptotic Behavior of Minimal-Exploration Allocation Policies: Almost Sure, Arbitrarily Slow Growing Regret

Wesley Cowan, Michael N. Katehakis|arXiv (Cornell University)|2015. 05. 12.

Advanced Bandit Algorithms Research참고 문헌 9인용 수 7

한 줄 요약

이 논문은 반복 로그와 같은 천천히 증가하는 함수 g(n)에 대해 거의 확실히 O(g(n)) 정도의 의사-손실 성장률을 달성하는 두 가지 새로운 최소 탐색 할당 정책—g-Forcing 및 g-Inflated Sample Mean—을 제안한다. 주요 기여는 이러한 정책이 기저의 밴딧 분포와 관계없이 유한한 평균과 분산 조건만을 가정할 경우, 임의로 느린 거의 확실 수렴 손실을 보장한다는 것을 증명하는 것이다.

ABSTRACT

The purpose of this paper is to provide further understanding into the structure of the sequential allocation ("stochastic multi-armed bandit", or MAB) problem by establishing probability one finite horizon bounds and convergence rates for the sample (or "pseudo") regret associated with two simple classes of allocation policies $π$. For any slowly increasing function $g$, subject to mild regularity constraints, we construct two policies (the $g$-Forcing, and the $g$-Inflated Sample Mean) that achieve a measure of regret of order $ O(g(n))$ almost surely as $n o \infty$, bound from above and below. Additionally, almost sure upper and lower bounds on the remainder term are established. In the constructions herein, the function $g$ effectively controls the "exploration" of the classical "exploration/exploitation" tradeoff.

연구 동기 및 목표

• 스토케스틱 다항 밴딧 문제에서 순차적 할당 정책의 의사-손실에 대해 거의 확실하고 샘플 경로 기반의 상한을 수립하기 위해.
• 기저의 밴딧 분포와 관계없이 임의로 느린 거의 확실 수렴 손실 성장을 달성하는 정책을 설계하기 위해.
• 탐색-이득 트레이드오프를 사용자가 정의한 천천히 증가하는 함수 g(n)를 통해 제어할 수 있음을 보여주기 위해. 이 함수는 손실 성장률을 지배한다.
• 강한 수렴 법칙과 반복 로그 법칙을 핵심 도구로 사용하며, 유한한 평균과 분산 조건 이외의 최소한의 분포 가정 조건에서 결과가 성립함을 보여주기 위해.
• 밴딧 보상의 i.i.d. 가정을 완화하여, SLLN와 LIL를 만족하는 더 일반적인 스토케스틱 과정으로 결과가 확장됨을 보여주기 위해.

제안 방법

• g(n)이 하위 최적 아ーム의 타겟 샘플 수를 설정함으로써 탐색을 제어하는 두 가지 정책 클래스인 g-Forcing 및 g-Inflated Sample Mean(g-ISM)을 제안한다.
• 강한 수렴 법칙(SLLN)을 사용하여 표본 평균이 진짜 평균으로 거의 확실히 수렴하도록 하고, 반복 로그 법칙(LIL)을 사용하여 변동 항을 제한한다.
• 의사-손실을 R̃π(n) = ∑ΔiTπi(n)로 정의하며, 여기서 Δi는 최적 아암과의 격차이다. 그리고 두 정책이 거의 확실히 R̃π(n) = Cπg(n) + o(g(n))를 만족함을 증명한다.
• 잔여 항에 대해 거의 확실한 상한과 하한을 수립하며, g-Forcing는 유한한 변동(상수 범위 내)을 보이며, g-ISM는 O(√(g(n)lnln g(n)))의 변동 범위를 가짐을 보여준다.
• g-Forcing는 모든 하위 최적 아암을 약 g(n)번 샘플링하는 반면, g-ISM는 1/Δi 비례로 샘플링하여 더 공정한(meritocratic) 전략임을 보여준다.
• 각 아암의 보상에 대해 SLLN와 LIL가 성립할 경우, i.i.d. 가정을 완화해도 결과가 유지됨을 증명한다.

실험 결과

연구 질문

• RQ1 주어진 천천히 증가하는 함수 g(n)보다 느린 거의 확실 손실 성장률을 달성하는 할당 정책을 구성할 수 있는가?
• RQ2 탐색과 이득을 어떻게 균형 있게 조절해야 임의로 느린 거의 확실 손실 성장률을 달성할 수 있는가?
• RQ3 g-Forcing와 g-ISM 정책 간의 구조적 차이가 그들의 손실 행동과 샘플링 분포에 어떤 영향을 미치는가?
• RQ4 밴딧 보상의 i.i.d. 가정을 얼마나 완화해도 손실 상한이 유지되는가?
• RQ5 손실 분해에서 잔여 항에 대한 거의 확실한 상한은 무엇이며, 두 정책 클래스 간에 어떻게 다를 수 있는가?

주요 결과

• 약간의 규칙성 조건을 만족하는 천천히 증가하는 함수 g(n)에 대해, 의사-손실 R̃π(n)이 거의 확실히 O(g(n)) 정도로 성장하는 g-goods 정책이 존재한다.
• g-Forcing 정책은 의사-손실이 SΔg(n) 주변에서 상수 범위 내에서 변동하며, 잔여 항이 SΔ(밴딧 격차에 따라 정해지는 상수)로 유한하게 제한됨을 보장한다.
• g-ISM 정책은 O(√(g(n)lnln g(n)))의 더 큰 변동 범위를 보이지만, 더 공정한 샘플링 전략을 취하여 격차가 큰 아암에 더 적은 샘플을 할당한다.
• g-Forcing 정책은 아암의 품질과 관계없이 모든 하위 최적 아암을 약 g(n)번 샘플링하여 탐색에서 더 민주적인 전략을 취한다.
• g-ISM 정책은 하위 최적 아암을 약 g(n)/Δi번 샘플링하며, 이는 그들의 기대 손실 기여도를 반영하고 최적에 가까운 아암을 우선시한다.
• 결과는 매우 낮은 가정 조건에서도 성립한다. 유한한 평균과 분산만 필요하며, i.i.d. 보상의 구조는 SLLN와 LIL가 각 아암의 보상에 대해 성립하는 한 완화될 수 있다.