[논문 리뷰] Towards Instance Optimal Bounds for Best Arm Identification

Lijie Chen, Jian Li외 1명|arXiv (Cornell University)|2016. 08. 22.

Advanced Bandit Algorithms Research참고 문헌 21인용 수 15

한 줄 요약

이 논문은 최적의 암호 선택 문제에서의 갭-엔트로피 추측을 해결하기 위한 중요한 진전을 이룩하며, 로그 인자까지의 상수 인자에서 최적의 샘플 복잡도를 달성하는 새로운 알고리즘을 제안한다. 가우시안 인스턴스에 대해 날카로운 하한을 증명하여, 인스턴스에 의존하는 복잡도가 $ H(I) \cdot (\ln \delta^{-1} + \mathsf{Ent}(I)) $ 로 엄밀하게 특징지어짐을 보이며, 오랫동안 남아있던 최적의 샘플 복잡도 문제인 Best-1-Arm 문제에 거의 해결에 이를고 있다.

ABSTRACT

In the classical best arm identification (Best-$1$-Arm) problem, we are given $n$ stochastic bandit arms, each associated with a reward distribution with an unknown mean. We would like to identify the arm with the largest mean with probability at least $1-δ$, using as few samples as possible. Understanding the sample complexity of Best-$1$-Arm has attracted significant attention since the last decade. However, the exact sample complexity of the problem is still unknown. Recently, Chen and Li made the gap-entropy conjecture concerning the instance sample complexity of Best-$1$-Arm. Given an instance $I$, let $μ_{[i]}$ be the $i$th largest mean and $Δ_{[i]}=μ_{[1]}-μ_{[i]}$ be the corresponding gap. $H(I)=\sum_{i=2}^nΔ_{[i]}^{-2}$ is the complexity of the instance. The gap-entropy conjecture states that $Ω\left(H(I)\cdot\left(\lnδ^{-1}+\mathsf{Ent}(I) ight) ight)$ is an instance lower bound, where $\mathsf{Ent}(I)$ is an entropy-like term determined by the gaps, and there is a $δ$-correct algorithm for Best-$1$-Arm with sample complexity $O\left(H(I)\cdot\left(\lnδ^{-1}+\mathsf{Ent}(I) ight)+Δ_{[2]}^{-2}\ln\lnΔ_{[2]}^{-1} ight)$. If the conjecture is true, we would have a complete understanding of the instance-wise sample complexity of Best-$1$-Arm. We make significant progress towards the resolution of the gap-entropy conjecture. For the upper bound, we provide a highly nontrivial algorithm which requires \[O\left(H(I)\cdot\left(\lnδ^{-1} +\mathsf{Ent}(I) ight)+Δ_{[2]}^{-2}\ln\lnΔ_{[2]}^{-1}\mathrm{polylog}(n,δ^{-1}) ight)\] samples in expectation. For the lower bound, we show that for any Gaussian Best-$1$-Arm instance with gaps of the form $2^{-k}$, any $δ$-correct monotone algorithm requires $Ω\left(H(I)\cdot\left(\lnδ^{-1} + \mathsf{Ent}(I) ight) ight)$ samples in expectation.

연구 동기 및 목표

• 최적의 샘플 복잡도가 $ \Omega(H(I) \cdot (\ln \delta^{-1} + \mathsf{Ent}(I))) $ 라는 갭-엔트로피 추측을 해결하기 위해, 이에 대응하는 상한이 존재함을 입증한다.
• 모든 문제 인스턴스에서 샘플 복잡도가 인스턴스 최적임을 달성하는 새로운 알고리즘을 설계하여, 모든 문제 인스턴스에서 기대 샘플 수를 최소화한다.
• 가우시안 최적 암호 선택 문제에서 단조성 알고리즘에 대해 거의 날카로운 하한을 확립하여, 복잡도에 엔트로피 항이 반드시 필요함을 확인한다.
• 간극의 구조와 엔트로피 유사 항이 다수의 암호 선택 문제에서 순수 탐색의 기본 한계를 결정하는 데 미치는 영향을 이해한다.

제안 방법

• 추정된 갭과 신뢰 구간에 따라 동적으로 샘플링을 조정하는 새로운 적응형 샘플링 알고리즘을 제안하며, 제거 전략과 분수 테스트 전략을 융합한다.
• 에러 전파를 통제하고 $ \delta $-정확성을 보장하기 위해 반복 라운드와 임계값 설정을 사용하는 새로운 분석 프레임워크를 도입한다.
• 간극 크기에 따라 암호를 그룹으로 나누는 재귀적 분해를 사용하며, 각 그룹에 별도의 샘플링 예산을 할당하여 탐색과 신뢰도의 균형을 이룬다.
• 하한 분석을 단순화하기 위해 단조성 가정을 도입하여, 열악한 암호를 제거한 부분 인스턴스에 집중한다.
• 집중 불등식과 반복 라운드 간의 유니온 바운드를 사용하여 실패 확률을 통제하며, 로그 및 다항로그 항을 신중하게 다룬다.
• 지수적으로 감소하는 갭을 가진 부분 인스턴스의 시퀀스로의 감소를 통해 하한을 확립하며, $ \Omega(H(I) \cdot (\ln \delta^{-1} + \mathsf{Ent}(I))) $ 개의 샘플이 반드시 필요하다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 갭-엔트로피 추측은 참인가, 즉 최적의 샘플 복잡도가 $ \Omega(H(I) \cdot (\ln \delta^{-1} + \mathsf{Ent}(I))) $ 의 비율로 증가하는가?
• RQ2 일관된 알고리즘이 모든 벨런스 인스턴스에서 로그 인자까지의 상수 인자에서 최적의 성능을 달성할 수 있는가?
• RQ3 가우시안 최적 암호 선택 문제에서 어떤 $ \delta $-정확한 단조성 알고리즘도 최소한 $ \Omega(H(I) \cdot (\ln \delta^{-1} + \mathsf{Ent}(I))) $ 개의 샘플이 필요할까?
• RQ4 간극의 구조와 엔트로피 유사 항 $ \mathsf{Ent}(I) $ 는 순수 탐색의 기본 한계에 어떻게 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 기대 샘플 복잡도가 $ O\left(H(I) \cdot (\ln \delta^{-1} + \mathsf{Ent}(I)) + \Delta_{[2]}^{-2} \ln \ln \Delta_{[2]}^{-1} \cdot \mathrm{polylog}(n, \delta^{-1})\right) $ 를 달성한다.
• 간극이 $ 2^{-k} $ 의 형태를 가진 가우시안 최적 암호 선택 인스턴스에 대해, 어떤 $ \delta $-정확한 단조성 알고리즘도 기대적으로 최소 $ \Omega(H(I) \cdot (\ln \delta^{-1} + \mathsf{Ent}(I))) $ 개의 샘플이 필요하다.
• 하한은 추측된 인스턴스 최적 형태와 상수 인자까지 일치하며, 복잡도에 엔트로피 항이 반드시 필요함을 확인한다.
• 상한은 두 암호 인스턴스에 대해 알려진 복잡도 $ \Theta(\Delta_{[2]}^{-2} \ln \ln \Delta_{[2]}^{-1}) $ 와 일치하여, 알고리즘이 최소 경우에서의 행동을 검증한다.
• 분석을 통해 갭-엔트로피 추측이 거의 해결되었으며, 유일하게 남아있는 격차는 상한에서 $ \mathrm{polylog}(n, \delta^{-1}) $ 인자일 뿐이다.