[논문 리뷰] Optimal Best Arm Identification with Fixed Confidence

Aurélien Garivier, Emilie Kaufmann|arXiv (Cornell University)|2016. 02. 15.

Advanced Bandit Algorithms Research참고 문헌 40인용 수 101

한 줄 요약

이 논문은 한 매개 변수 밴디트에서 최적 팔 식별을 위한 엄밀한 비점근 하한을 도출하고 Track-and-Stop 전략을 도입하며, 고정 신뢰도 설정에서 비점근적으로 최적임이 증명된다.

ABSTRACT

We give a complete characterization of the complexity of best-arm identification in one-parameter bandit problems. We prove a new, tight lower bound on the sample complexity. We propose the `Track-and-Stop' strategy, which we prove to be asymptotically optimal. It consists in a new sampling rule (which tracks the optimal proportions of arm draws highlighted by the lower bound) and in a stopping rule named after Chernoff, for which we give a new analysis.

연구 동기 및 목표

• 단일 매개 변수 지수족에서 delta-PAC 최적 팔 식별에 필요한 정확한 샘플 복잡도를 규명한다.
• 기댓 샘플 수에 대한 타이트한 비점근 하한을 제공한다.
• 샘플 수의 하한을 비점근적으로 달성하는 학습 전략(Track-and-Stop)을 제안한다.
• delta-PAC 보장을 보장하는 중지 규칙 및 샘플링 체계를 분석한다.

제안 방법

• 이동 기반 측정(change of measure)을 통해 문제 특유의 특성 시간 T*(mu)를 포함하는 타이트한 하한을 도출한다.
• 대안 모델 Alt(mu)들에 대한 최적 팔 샘플링 비율 w*(mu)를 최적화 문제를 풀어 정의한다.
• 최적 비율을 추적하는 샘플링 규칙과 조정 가능한 임계값을 갖는 Chernoff 형의 중지 규칙으로 구성된 Track-and-Stop 알고리즘을 도입한다.
• 경험적 평균의 수렴을 보장하기 위해 탐색을 강제하는 두 가지 추적 체계(C-Tracking 및 D-Tracking)를 제공한다.
• 일반화된 우도 비율 통계 Z_{a,b}(t)를 통해 중지 규칙을 분석하고 임계값 beta(t, delta)가 delta-PAC 보장을 어떻게 제공하는지 보인다.
• MDL 해석을 제시하고 중지 동작을 정보 이론적 코딩 주장과 연결한다.

실험 결과

연구 질문

• RQ1 지수족 밴디트에서 delta-PAC 최적 팔 식별을 위한 기대 샘플 복잡도에 대한 올바른 문제 의존적 하한은 무엇인가?
• RQ2 최적 팔 샘플링 비율 w*(mu)와 대응하는 특성 시간 T*(mu)을 어떻게 계산할 수 있는가?
• RQ3 실용적 전략(Track-and-Stop)이 delta-PAC 제약을 만족하면서 비점근적으로 하한에 도달할 수 있는가?
• RQ4 다양한 밴디트 모델에 대해 고정 신뢰도 보장을 보장하도록 중지 및 샘플링 규칙을 어떻게 설계해야 하는가?
• RQ5 중지 규칙을 밝히는 통계적, 정보 이론적, MDL 해석은 무엇인가?

주요 결과

• 문제 의존적 특성 시간 T*(mu)가 포함된 E_mu[tau_delta]에 대한 타이트한 비점근 하한이 확립되었다.
• 최적 샘플링 비율 w*(mu)의 명시적 특성이 주어져 추적 기반 전략이 하한을 달성할 수 있게 한다.
• Track-and-Stop 전략이 제안되고 delta → 0에서 delta-PAC 제약 하에 비점근적으로 최적임이 보인다.
• 두 가지 실용적인 추적 체계(C-Tracking 및 D-Tracking)가 경험적 평균의 최적 비율로의 수렴을 보장하고 delta-PAC를 만족함을 입증한다.
• MDL/정보 이론적 해석이 포함된 Chernoff형 중지 규칙은 기대값에서 log(1/delta) 요인까지 하한을 달성하는 중지 시점을 얻는다.