[논문 리뷰] The True Sample Complexity of Identifying Good Arms

Julian Katz-Samuels, Kevin Jamieson|arXiv (Cornell University)|2019. 06. 15.

Advanced Bandit Algorithms Research참고 문헌 29인용 수 5

한 줄 요약

이 논문은 다수의 레버리지 밴딧 문제에서 샘플 복잡도를 재정의하여 검증 가능하고 검증 불가능한 샘플 복잡도를 구분함으로써 실용적 직관과 일치하는 새로운 정의를 제안한다. $ϵ$-좋은 암 식별과 임계값 기반 암 선택에 대해 각각 $Θ(n/m)$ 및 $Θ(nk/m)$의 최적 샘플 복잡도를 달성하는 알고리즘을 제시한다. 여기서 $m$은 각각 최적 평균에서 $ϵ$ 이내이거나 임계값 $μ_0$ 이상인 암의 수이다.

ABSTRACT

We consider two multi-armed bandit problems with $n$ arms: (i) given an $ε> 0$, identify an arm with mean that is within $ε$ of the largest mean and (ii) given a threshold $μ_0$ and integer $k$, identify $k$ arms with means larger than $μ_0$. Existing lower bounds and algorithms for the PAC framework suggest that both of these problems require $Ω(n)$ samples. However, we argue that these definitions not only conflict with how these algorithms are used in practice, but also that these results disagree with intuition that says (i) requires only $Θ(\frac{n}{m})$ samples where $m = |\{ i : μ_i > \max_{i \in [n]} μ_i - ε\}|$ and (ii) requires $Θ(\frac{n}{m}k)$ samples where $m = |\{ i : μ_i > μ_0 \}|$. We provide definitions that formalize these intuitions, obtain lower bounds that match the above sample complexities, and develop explicit, practical algorithms that achieve nearly matching upper bounds.

연구 동기 및 목표

• 이론적 샘플 복잡도 한계와 실질적 성능 사이의 괴리를 해결하기 위해.
• 최적 평균에 가까운 암이 적을 경우 좋은 암을 식별하는 데 더 적은 샘플이 필요한 직관을 수식화하기 위해.
• 실제 세계의 적응형 데이터 수집 효율성을 반영하는 검증 불가능한 샘플 복잡도의 새로운 정의를 개발하기 위해.
• 새로운 정의에 따라 거의 최적의 샘플 복잡도를 달성하는 실용적인 알고리즘을 설계하기 위해.
• $\epsilon$-좋은 암 식별 및 임계값 기반 암 선택 문제에 대해 하한과 상한이 일치하는 결과를 확립하기 위해.

제안 방법

• 검증 불가능한 샘플 복잡도의 새로운 정의를 제안하여, 모든 암을 완전히 검증할 필요 없이 빠르게 좋은 암을 식별하는 것을 목표로 한다.
• 구간 기반 알고리즘을 도입하여 암을 구간 단위로 적응적으로 샘플링하고, 신뢰 구간을 유지하며 생산성이 떨어지는 구간을 동적으로 제거한다.
• 전체 샘플 수를 최소화하면서도 높은 확률로 정확한 결과를 보장하기 위해 신뢰 구간과 순차적 가설 검정을 사용한다.
• 실제 평균 성능과 향후 추출 요구량을 기반으로 한 히ュ리스틱을 활용해 구간 선택 및 제거를 수행한다.
• 임계값 기반 암 선택 설정에서 거짓 발견률 제어를 위해 벤자민-호크베르그 절차를 적용한다.
• 실제 데이터(예: Drosophila 유전자 스크리닝)로부터의 기저 평균 분포를 모델링하기 위해 최대우도 추정과 엔트로피 정규화를 사용한다.

실험 결과

연구 질문

• RQ1 최적 평균에 가까운 암이 적을 경우, 이들 암을 식별하는 데 더 적은 샘플이 필요한 직관을 수식화할 수 있는가?
• RQ2 최대 평균에서 $ϵ$ 이내에 있는 암이 $m$개 뿐일 때, $ϵ$-좋은 암을 식별하는 데 진정으로 필요한 샘플 복잡도는 무엇인가?
• RQ3 실제로 최적의 샘플 복잡도를 달성하면서도 높은 확률로 정확한 결과를 보장하는 알고리즘은 어떻게 설계할 수 있는가?
• RQ4 $\epsilon$-좋은 암 식별과 임계값 기반 암 선택 사이의 관계는 무엇이며, 유사한 기법으로 해결할 수 있는가?
• RQ5 적응형 데이터 수집에서 검증 불가능한 샘플 복잡도와 검증 가능한 샘플 복잡도 사이의 차이는 무엇이며, 실세계 적용에 있어 그 차이가 중요한 이유는 무엇인가?

주요 결과

• 최적 평균에서 $ϵ$ 이내에 있는 암의 수가 $m$일 때, $ϵ$-좋은 암을 식별하기 위한 하한이 $\Omega(n/m)$임을 입증한다.
• 제안된 알고리즘은 $ϵ$-좋은 암 식별에 대해 $O(n/m)$의 검증 불가능한 샘플 복잡도를 달성하며, 로그 인자 외에는 하한과 일치한다.
• 임계값 $μ_0$ 이상인 암을 $k$개 식별하기 위해, $m$개의 암이 평균이 $μ_0$ 이상일 때 하한이 $\Omega(nk/m)$임을 증명하고, $O(nk/m)$ 샘플 복잡도를 달성하는 알고리즘을 제시한다.
• 실제 Drosophila 유전자 스크리닝 데이터를 통해, 특히 좋은 암이 희박한 상황에서 기존 방법보다 제안된 알고리즘이 실질적으로 뛰어난 성능을 보였다.
• 검증 불가능한 샘플 복잡도의 사용은 전체 검증이 $Θ(n)$ 샘플이 필요한 경우에도 유리한 구성에서 좋은 암을 더 빨리 식별할 수 있도록 한다.
• 구간 관리 및 동적 구간 제거를 위한 히ュ리스틱은 이론적 보장을 해치지 않으면서도 높은 확률의 정확성을 유지하면서도 실증 성능을 향상시킨다.