[논문 리뷰] On Finding the Largest Mean Among Many

Kevin Jamieson, Matthew Malloy외 2명|arXiv (Cornell University)|2013. 06. 17.

Advanced Bandit Algorithms Research참고 문헌 12인용 수 22

한 줄 요약

이 논문은 선형 표본 복잡도를 갖는 다수의 보드(arm) 설정에서 최고의 보드(가장 큰 평균)를 식별하기 위한 새로운 적응형 알고리즘인 PRISM을 소개한다. 다양한 평균 분포 범위에서 선형 표본 복잡도를 달성할 수 있음을 입증한다. 적응형 전략은 간격이 감소하는 비희박한 케이스에서도 O(n)의 표본 복잡도를 달성할 수 있으며, 비적응형 방법은 이와 비교해 다항적으로 더 많은 표본이 필요할 수 있다. 특히 α > 0일 경우 최대 Ω(n²α+1)의 복잡도를 요구하며, 이는 효율성의 상당한 격차를 보여준다.

ABSTRACT

Sampling from distributions to find the one with the largest mean arises in a broad range of applications, and it can be mathematically modeled as a multi-armed bandit problem in which each distribution is associated with an arm. This paper studies the sample complexity of identifying the best arm (largest mean) in a multi-armed bandit problem. Motivated by large-scale applications, we are especially interested in identifying situations where the total number of samples that are necessary and sufficient to find the best arm scale linearly with the number of arms. We present a single-parameter multi-armed bandit model that spans the range from linear to superlinear sample complexity. We also give a new algorithm for best arm identification, called PRISM, with linear sample complexity for a wide range of mean distributions. The algorithm, like most exploration procedures for multi-armed bandits, is adaptive in the sense that the next arms to sample are selected based on previous samples. We compare the sample complexity of adaptive procedures with simpler non-adaptive procedures using new lower bounds. For many problem instances, the increased sample complexity required by non-adaptive procedures is a polynomial factor of the number of arms.

연구 동기 및 목표

• 표본 복잡도가 보드 수에 대해 선형으로 스케일링되는 조건을 규명하는 것.
• 넓은 평균 분포 클래스에 대해 선형 표본 복잡도를 달성하는 적응형 알고리즘을 개발하는 것.
• 표본 복잡도 측면에서 적응형과 비적응형 샘플링 전략 간의 격차를 정량화하는 것.
• 최고의 보드 식별 문제에서 적응형 및 비적응형 절차에 대해 날카로운 하한을 설정하는 것.

제안 방법

• α를 매개변수로 하는 단일 매개변수 모델을 제안하며, 이는 μ₀ − μᵢ = (i/n)α로 정의되며, α = 0일 경우 희박한 경우에서부터 α > 0일 경우 비희박한 경우까지 범위를 커버한다.
• 이전 샘플에 기반해 보드를 선택하는 전략을 통해 최고의 보드를 효율적으로 식별하는 적응형 알고리즘인 PRISM을 도입한다.
• 표본 평균 추정의 오류 확률을 분석하기 위해 Hoeffding의 부등식과 유니온 바운드를 사용한다.
• 비적응형 하한을 유도하여 특정 문제 사례에서 표본 복잡도가 Ω(H log n)과 Ω(Hn)으로 스케일링됨을 보여준다.
• 실패 확률 ≤ δ인 모든 절차에 대해 적응형 하한이 Ω(H log(1/δ))임을 설정한다.
• 최소 간격 Δ₁이 비적응형 복잡도에 미치는 영향을 분석하여, 비적응형 설정에서 쿼리 복잡도를 지배함을 보여준다.

실험 결과

연구 질문

• RQ1 평균 분포에 어떤 조건이 성립할 경우 최고의 보드 식별 표본 복잡도가 보드 수에 대해 선형으로 스케일링되는가?
• RQ2 평균 간격이 n에 따라 감소하는 경우에도 적응형 샘플링 전략이 선형 표본 복잡도를 달성할 수 있는가?
• RQ3 표본 복잡도 측면에서 비적응형 절차는 적응형 절차에 비해 얼마나 열 劣한가?
• RQ4 비적응형 최고의 보드 식별에 대해 가장 날카로운 가능한 하한은 무엇인가?
• RQ5 평균 분포 모델의 매개변수 α는 적응성과 표본 효율성 간의 트레이드오프에 어떻게 영향을 미치는가?

주요 결과

• PRISM는 O(H log(1/δ))의 표본 복잡도를 달성하며, α ∈ (0, 1/2)를 포함한 다양한 평균 분포에서 n에 대해 선형 스케일링을 보인다.
• 비적응형 절차의 경우 표본 복잡도는 Ω(H log n)이며, α > 0일 경우 최대 Ω(Hn)까지 증가할 수 있다. 이는 적응형 방법 대비 다항적 격차를 의미한다.
• α > 0인 비희박한 설정에서 비적응형 방법은 Ω(n²α+1)의 표본이 필요하지만, 적응형 방법인 PRISM는 오직 O(n)의 표본만 필요하다. 이는 다항적 격차를 보여준다.
• 비적응형 절차의 하한은 H가 아니라 최소 간격 Δ₁에 의해 지배되며, 이는 비적응형 샘플링의 근본적인 제약를 강조한다.
• α = 0(희박한 경우)일 경우 비적응형 방법은 O(n log n)의 표본이 필요하지만, 적응형 방법은 O(n)의 표본만 필요하다. 이는 log n의 격차를 보여준다.
• 논문은 적응형과 비적응형 전략 간의 격차가 많은 현실적인 평균 구성에서 다항적일 수 있음을 입증한다. 이는 단지 로그 수준의 격차가 아니라는 것을 의미한다.