[논문 리뷰] Optimal Confidence Regions for the Multinomial Parameter

Matthew Malloy, Ardhendu Tripathy외 1명|arXiv (Cornell University)|2020. 02. 03.

Advanced Bandit Algorithms Research참고 문헌 23인용 수 6

한 줄 요약

이 논문은 다항분포에 대해 클로퍼-피어슨 구간을 $k$-카테고리 분포로 일반화하여 다항모수에 대한 최소 부피 신뢰영역을 제안한다. 꼬리확률의 수준집합 역행렬을 사용하여, 모든 실제 파rameter $\boldsymbol{p}$에 대해 정확한 커버리지가 보장되며, 경험적 결과나 균일한 사전분포에 대해 평균 부피가 최소화됨을 증명한다. 이로 인해 평균과 같은 선형 기능에 대해 더 날카운 신뢰구간을 얻을 수 있으며, 적응형 학습 알고리즘에서 몇 배의 샘플 절감이 가능하다.

ABSTRACT

Construction of tight confidence regions and intervals is central to statistical inference and decision making. This paper develops new theory showing minimum average volume confidence regions for categorical data. More precisely, consider an empirical distribution $\widehat{\boldsymbol{p}}$ generated from $n$ iid realizations of a random variable that takes one of $k$ possible values according to an unknown distribution $\boldsymbol{p}$. This is analogous to a single draw from a multinomial distribution. A confidence region is a subset of the probability simplex that depends on $\widehat{\boldsymbol{p}}$ and contains the unknown $\boldsymbol{p}$ with a specified confidence. This paper shows how one can construct minimum average volume confidence regions, answering a long standing question. We also show the optimality of the regions directly translates to optimal confidence intervals of linear functionals such as the mean, implying sample complexity and regret improvements for adaptive machine learning algorithms.

연구 동기 및 목표

• 정확한 커버리지와 최소 부피를 보장하는 다항분포에 대한 신뢰영역을 구성하는 데 오랫동안 미해결된 문제를 해결하기 위해.
• 클로퍼-피어슨 정확한 구간 방법을 $k > 2$ 카테고리로 확장하여 다항단체로 일반화하기 위해.
• 최소 부피 신뢰영역이 평균과 같은 선형 기능에 대해 최적(가장 짧은)의 신뢰구간을 제공함을 보여주기 위해.
• 더 날카운 신뢰경계를 활용하여 적응형 학습 알고리즘에서 샘플 복잡도와 회귀를 줄이기 위해.
• p-값과 쿨백-라이블러 발산 근사치를 사용하여 이러한 영역을 계산적으로 실현 가능한 방법으로 구성하기 위해.

제안 방법

• 모든 진짜 파rameter $\boldsymbol{p}$에 대해 정확한 커버리지가 보장되도록, 수준집합 방법을 사용하여 꼬리확률의 역행렬을 통한 신뢰영역을 구성한다.
• 관측된 경험적 분포 $\widehat{\boldsymbol{p}}$가 수준 $1 - \delta$에서 통계적으로 유의미하지 않은 파rameter $\boldsymbol{p}$의 집합으로 신뢰영역을 정의한다.
• 모든 신뢰영역이 집합 매핑의 역행렬로 표현될 수 있으며, 수준집합 구성이 이 클래스에서 최소임을 보여줌으로써 최적성을 증명한다.
• 균일한 사전분포 또는 경험적 결과에 대한 평균을 사용하여 평균 부피 기준을 정의하고, 최소 평균 부피를 최적성 기준으로 설정한다.
• 계산 효율성을 높이기 위해 $\chi^2$ 검정의 p-값과 쿨백-라이블러 발산 경계를 사용한 근사치를 유도한다.
• 평균과 같은 선형 기능에 대한 신뢰구간을 이 최소 부피 영역을 적용하여 유도하고, Hoeffding, Bernstein, KL 기반 경계보다 더 날카운 것을 증명한다.

실험 결과

연구 질문

• RQ1 정확한 커버리지가 보장되면서도 평균 부피가 최소화된 다항모수에 대한 신뢰영역을 구성할 수 있는가?
• RQ2 클로퍼-피어슨의 확장인 수준집합 방법은 모든 가능한 경험적 결과에 대해 평균 부피 측면에서 최적이인가?
• RQ3 다항모수에 대한 최소 부피 신뢰영역은 기존 경계보다 평균과 같은 선형 기능에 대해 더 짧은 신뢰구간을 제공하는가?
• RQ4 이러한 최적의 신뢰영역은 다중 암드 밴딧과 같은 순차적 학습 알고리즘에서 샘플 복잡도나 회귀를 줄일 수 있는가?
• RQ5 중간 크기의 $n$과 $k$에 대해 최소 부피 신뢰영역의 구성이 실현 가능한 계산 전략은 무엇인가?

주요 결과

• 수준집합 신뢰영역은 정확한 커버리지 조건을 만족하는 모든 신뢰영역 구성 중에서 최소 평균 부피를 가진다.
• 제안된 영역의 평균 부피는 Hoeffding, Bernstein, KL 기반 경계보다 엄격히 작으며, 진짜 분포가 비대칭일 경우 더 두드러진다.
• 이 영역에서 유도된 평균에 대한 신뢰구간은 Empirical Bernstein 및 Chernoff 경계를 포함한 모든 알려진 구성보다 평균적으로 더 짧다.
• 다섯 개의 3카테고리 암드를 가진 최상의 암드 식별 실험에서, 제안된 방법은 기준 신뢰경계에 비해 停止 시간을 몇 배 줄였다.
• 특히 분산이 작을 경우, 원하는 신뢰구간 폭을 확보하기 위해 필요한 샘플 수가 몇 배 적게 들며, 최대 몇 배의 샘플 절감이 가능하다.
• $\chi^2$ 검정의 p-값과 KL 발산 경계의 사용은 이론적 커버리지 보장을 유지하면서도 효율적인 계산을 가능하게 한다.