[논문 리뷰] Non-Asymptotic Sequential Tests for Overlapping Hypotheses and application to near optimal arm identification in bandit models

Aurélien Garivier, Emilie Kaufmann|arXiv (Cornell University)|2019. 05. 09.

Advanced Bandit Algorithms Research참고 문헌 22인용 수 9

한 줄 요약

이 논문은 다중 보상 밴딧에서 (ϵ,δ)-PAC 최적 암 식별에 적용되는 병렬 일반화된 우도 비율 검정(GLRT)을 사용하여 겹치는 가설에 대한 비점근적 순차 검정을 개발한다. 샘플 복잡도에 대한 날카운 비점근적 경계를 확립하고, 정보 이론적 추론을 바탕으로 하한을 제시하며, 정규 밴딧 사례에서 제안된 전략이 (ϵ,δ)-PAC 기준 하에 최적 성능을 달성함을 보여준다.

ABSTRACT

In this paper, we study sequential testing problems with \emph{overlapping} hypotheses. We first focus on the simple problem of assessing if the mean $\mu$ of a Gaussian distribution is smaller or larger than a fixed $\epsilon>0$; if $\mu\in(-\epsilon,\epsilon)$, both answers are considered to be correct. Then, we consider PAC-best arm identification in a bandit model: given $K$ probability distributions on $\mathbb{R}$ with means $\mu_1,\dots,\mu_K$, we derive the asymptotic complexity of identifying, with risk at most $\delta$, an index $I\in\{1,\dots,K\}$ such that $\mu_I\geq \max_i\mu_i -\epsilon$. We provide non-asymptotic bounds on the error of a parallel General Likelihood Ratio Test, which can also be used for more general testing problems. We further propose lower bound on the number of observation needed to identify a correct hypothesis. Those lower bounds rely on information-theoretic arguments, and specifically on two versions of a change of measure lemma (a high-level form, and a low-level form) whose relative merits are discussed.

연구 동기 및 목표

• 겹치는 가설 하에서 순차 검정에 대한 비점근적 분석의 부족을 해결하기 위해.
• 다수의 암이 거의 최적일 수 있는 더 실용적인 (ϵ,δ)-PAC 프레임워크로 δ-정확한 최적 암 식별을 일반화하기 위해.
• 특히 변화 측정 렘마를 포함한 정보 이론적 도구를 사용하여 샘플 복잡도에 대한 비점근적 하한을 유도하기 위해.
• 샘플 복잡도의 하한을 따라 최적화하는 병렬 GLRT와 추적 샘플링 규칙을 결합한 (ϵ,δ)-PAC 전략을 설계하고 분석하기 위해.

제안 방법

• 겹치는 가설 하에서 병렬 일반화된 우도 비율 검정(GLRT)을 제안하여, 다수의 가설이 동시에 참일 수 있음을 고려한다.
• GLRT의 비점근적 오차 경계를 유도하기 위해 고수준 및 저수준의 변화 측정 추론을 사용한다.
• 샘플 복잡도를 최소화하기 위한 최적 할당에 수렴하도록 적응적으로 암에 대한 추출을 할당하는 추적 샘플링 규칙을 도입한다.
• 특성 시간의 볼록 최적화 공식화를 통해 기대 멈춤 시간에 대한 비점근적 하한을 도출한다.
• 정규 분포 또는 지수족 분포를 가진 다중 보상 밴딧 모델에 GLRT를 적용하여, (ϵ,δ)-PAC 기준 하에서 δ-정확성을 보장한다.
• Kullback-Leibler 발산을 포함한 최소-최대 최적화 문제를 통해 최적 샘플링 가중치를 구하고, 특정 조건 하에서는 닫힌 형태의 해를 얻는다.

실험 결과

연구 질문

• RQ1 겹치는 가설이 존재할 경우, 즉 다수의 가설이 동시에 참일 수 있을 경우 비점근적 경계를 도출할 수 있는가?
• RQ2 고확률(1−δ)로 ϵ-최적의 암을 식별하기 위해 필요한 최소 샘플 복잡도는 얼마인가?
• RQ3 겹치는 가설 설정에서 병렬 GLRT의 성능은 (ϵ,δ)-PAC 설정에서 정보 이론적 하한과 어떻게 비교되는가?
• RQ4 정규 밴딧 사례에서 샘플 복잡도의 하한을 달성할 수 있는 추적 샘플링 규칙을 설계할 수 있는가?
• RQ5 최적 샘플링 가중치의 구조는 무엇이며, 효율적으로 계산할 수 있는가?

주요 결과

• 병렬 GLRT는 다중 보상 밴딧에서 (ϵ,δ)-PAC 최적 암 식별에 대해 δ-정확성을 달성하며, 오차 경계가 ln(1/δ) 비례로 비점근적으로 스케일링된다.
• 정보 이론적 추론을 사용하여 기대 멈춤 시간에 대한 비점근적 하한을 도출하였으며, 특성 시간이 볼록 최적화 문제의 해임을 보여준다.
• 정규 밴딧 사례에서 추적 샘플링 규칙을 포함한 제안된 (ϵ,δ)-PAC 전략은 유도된 하한을 정확히 따라, 점근적 최적성을 증명한다.
• 최적 샘플링 가중치는 KL 발산을 포함한 최소-최대 최적화 문제의 해로서 구해지며, 역 KL 도함수를 포함한 방정식 시스템으로 특성화된다.
• 특수한 경우로, 한 암의 평균이 µ+ −ϵ이고 다른 암의 평균이 µ+일 경우, 최적 가중치는 최적 암에 대해 전부 할당되며 해가 단순화된다.
• 분석 결과, 겹치는 가설 설정에서는 고수준 정보 이론적 추론이 실패하며, 날카운 경계를 확보하기 위해 저수준 변화 측정 추론이 필수적임을 밝혀냈다.