[논문 리뷰] Novel Bernstein-like Concentration Inequalities for the Missing Mass

Bahman Yari Saeed Khanloo, Gholamreza Haffari|arXiv (Cornell University)|2015. 03. 10.

Statistical Mechanics and Entropy참고 문헌 8인용 수 3

한 줄 요약

이 논문은 이산 분포에서 누락된 질량에 대한 새로운 베르누이 스타일의 농도 불등식을 제안하며, 결과 확률의 이질성을 제어하기 위해 임계값 기법을 사용한다. 기존 작업보다 더 날카러진 경계를 달성하며, 특히 작은 편차에 대해 더 날카럽게 작용한다. 이는 새로운 분산 인지 정규화를 통해 항의 크기를 조절하여 달성되며, $\epsilon < 0.021$ (하향 尾) 및 $\epsilon < 0.045$ (상향 尾) 범위에서 최신 기술 수준을 향상시킨다.

ABSTRACT

We are concerned with obtaining novel concentration inequalities for the missing mass, i.e. the total probability mass of the outcomes not observed in the sample. We not only derive - for the first time - distribution-free Bernstein-like deviation bounds with sublinear exponents in deviation size for missing mass, but also improve the results of McAllester and Ortiz (2003) andBerend and Kontorovich (2013, 2012) for small deviations which is the most interesting case in learning theory. It is known that the majority of standard inequalities cannot be directly used to analyze heterogeneous sums i.e. sums whose terms have large difference in magnitude. Our generic and intuitive approach shows that the heterogeneity issue introduced in McAllester and Ortiz (2003) is resolvable at least in the case of missing mass via regulating the terms using our novel thresholding technique.

연구 동기 및 목표

• 학습 이론에서 매우 중요한 소편차 영역에서, 누락된 질량에 대한 날카로운 농도 불등식의 부족을 해결하기 위해.
• 항의 크기가 크게 다름에 따라 변동성이 큰 합을 처리하는 데 있어 표준 불등식의 한계를 극복하기 위해.
• 특정 분포 가정에 의존하지 않고 누락된 질량의 변동성에 대해 더 날카로운 경계를 제공할 수 있는 분포 독립 프레임워크를 개발하기 위해.
• McAllester & Ortiz(2003) 및 Berend & Kontorovich(2013)의 기존 경계를 개선하기 위해, 항 기여도를 조절하기 위한 임계값 기법을 도입하기 위해.
• 편차 크기의 비선형 지수를 갖는 베르누이 스타일의 불등식을 사용하여 누락된 질량에 대해 더 날카로운 상향 및 하향 편차 경계를 수립하기 위해.

제안 방법

• 임계값 $\tau^*$를 기반으로 결과를 저확률 및 고확률 그룹으로 분할하여 합 내 항의 크기를 조절하기 위한 임계값 기법을 도입한다.
• 분산과 마팅게일 차이를 제어하기 위해 절단된 랜덤 변수 $Y'$ 및 $Y''$를 정의한다. 이를 통해 표준 농도 불등식의 적용을 가능하게 한다.
• 분산 $V_{\mathcal{L}''}$ 과 최대 항 크기 $\alpha_l$ 를 제한하여 절단된 합에 대해 베르누이의 부등식을 적용한다. 이때 $\alpha_l = \tau'$ 이고 $V_{\mathcal{L}''} \leq \frac{\theta}{n} \epsilon + \frac{2\theta}{3n} \cdot \frac{\gamma-1}{\gamma} \epsilon$ 이다.
• 적절히 선택된 $\gamma$ 를 사용한 지수적 모멘트 방법을 통해 경계를 최적화하며, 결과적으로 $\exp\left(-\frac{3n\epsilon(\gamma-1)^2}{10\gamma^2 \ln(\gamma/\epsilon)}\right)$ 를 도출한다. 이는 $\gamma$ 에 대해 최소화된다.
• 보정 갭 $g_l(\theta)$ 를 $|g_l(\theta)| \leq f(\theta)$ 를 통해 제어하여, 작은 $\epsilon$ 에서도 미미하게 유지되도록 보장함으로써 경계의 날카로움을 유지한다.
• 방법을 대칭적으로 적용하여 상향 및 하향 尾 경계를 모두 수립하며, 최종 경계는 $\mathbb{P}(Y - \mathbb{E}[Y] \leq -\epsilon) \leq \exp(-c(\epsilon) \cdot n\epsilon)$ 로 표현된다.

실험 결과

연구 질문

• RQ1 분포 독립적이며 소편차 영역에서도 효과적인, 누락된 질량에 대한 더 날카로운 농도 불등식을 유도할 수 있는가?
• RQ2 누락된 질량 추정에서 관찰되는 확률이 크게 다른 베르누이 변수 합의 이질성 문제를 어떻게 해결할 수 있는가?
• RQ3 임계값 기법이 누락된 질량 맥락에서 베르누이 스타일 경계의 날카로움을 얼마나 향상시킬 수 있는가?
• RQ4 분포 독립 보장 조건을 유지하면서도 편차 크기 $\epsilon$ 에 대해 비선형 지수를 달성할 수 있는가?
• RQ5 절단에 의해 유도된 보정 갭은 최종 경계에 어떤 영향을 미치며, 작은 $\epsilon$ 에서는 이를 무시할 수 있는 정도로 유지할 수 있는가?

주요 결과

• 제안된 방법은 $\epsilon < 0.021$ 인 모든 경우에 Berend와 Kontorovich(2013)보다 더 날카로운 하향 尾 경계를 달성하며, 특히 소편차 영역에서 개선이 두드러진다.
• 상향 尾에 대해서는 $\epsilon < 0.045$ 인 모든 경우에 최신 기술 수준을 초월하는 경계를 제공하며, 학습 이론에서 가장 중요한 범위에서 성능 향상을 입증한다.
• 보정 갭 $|g(\epsilon)|$ 는 $\sqrt{e} \cdot \exp\left(W_{-1}\left(\frac{-\epsilon}{2\sqrt{e}}\right)\right)$ 로 유계화되며, 이는 작은 $\epsilon$ 에서 미미하게 유지되어 최종 경계의 날카로움을 정당화한다.
• 최종 경계는 $\mathbb{P}(Y - \mathbb{E}[Y] \leq -\epsilon) \leq \exp(-c(\epsilon) \cdot n\epsilon)$ 로 표현되며, $c(\epsilon)$ 는 $\epsilon$ 에 따라 달라지며 지수부분에서 $\epsilon$ 에 대해 비선형 의존성을 갖는다.
• 이 방법은 먼저 임계값 기법을 통해 항의 이질성을 조절함으로써 표준 농도 불등식(예: 베르누이)을 누락된 질량에 직접 적용할 수 있도록 한다.
• 경계는 분포 독립적이며, $n \geq \lceil \gamma_\epsilon \rceil - 1$ 의 온건한 조건을 만족하면 비점근적 설정에서도 적용 가능하다.