[논문 리뷰] On the Non-asymptotic and Sharp Lower Tail Bounds of Random Variables

Anru R. Zhang, Yuchen Zhou|arXiv (Cornell University)|2018. 10. 21.

Statistical Methods and Inference참고 문헌 28인용 수 4

한 줄 요약

이 논문은 독립적인 서브가우시안 및 서브엑스포네셜 변수의 합에 대해 비점근적이고 날카로운 하측 꼬리 경계를 유저 친화적인 체계적 방법으로 유도하는 방법을 제시한다. 고전적인 호프딩형 및 버니스타인형 불등식과 유사한 매칭되는 상측 및 하측 경계를 수립하며, 이항분포 및 포아송 분포와 같은 분포에 대해 새로운 역 체르노프-크라머 경계를 제공함으로써 고차원 설정에서의 날카로운 통계적 추론을 가능하게 한다.

ABSTRACT

The non-asymptotic tail bounds of random variables play crucial roles in probability, statistics, and machine learning. Despite much success in developing upper bounds on tail probability in literature, the lower bounds on tail probabilities are relatively fewer. In this paper, we introduce systematic and user-friendly schemes for developing non-asymptotic lower bounds of tail probabilities. In addition, we develop sharp lower tail bounds for the sum of independent sub-Gaussian and sub-exponential random variables, which match the classic Hoeffding-type and Bernstein-type concentration inequalities, respectively. We also provide non-asymptotic matching upper and lower tail bounds for a suite of distributions, including gamma, beta, (regular, weighted, and noncentral) chi-square, binomial, Poisson, Irwin-Hall, etc. We apply the result to establish the matching upper and lower bounds for extreme value expectation of the sum of independent sub-Gaussian and sub-exponential random variables. A statistical application of signal identification from sparse heterogeneous mixtures is finally considered.

연구 동기 및 목표

• 확률 및 통계 분야에서 비점근적이고 날카로운 하측 꼬리 경계의 부족 문제를 다루며, 특히 잘 발달된 상측 꼬리 이론에 비해 상대적으로 미흡한 상황을 해결한다.
• 유한 표본 설정에서 다양한 랜덤 변수에 적용 가능한 체계적이고 실용적인 경계 유도 체계를 개발한다.
• 감마, 베타, 카이제곱(일반형, 가중형, 비중앙형), 이항분포, 포아송, 아이리언-홀 분포와 같은 주요 분포에 대해 매칭되는 상측 및 하측 꼬리 경계를 수립한다.
• 독립적인 서브가우시안 및 서브엑스포네셜 랜덤 변수의 합에 대한 극값 기대값에 대해 날카로운 하측 경계를 도출한다.
• 신호 탐지 문제와 같은 고차원 문제에서의 통계적 추론을 향상시킨다. 예를 들어 희박한 이종 혼합물로부터의 신호 식별.

제안 방법

• 모멘트 생성 함수의 성질과 볼록 쌍대 분석을 활용하여 날카로운 하측 꼬리 경계를 도출하기 위해 역 체르노프-크라머 경계(보조정리 1)를 도입한다.
• 테일러 전개와 지수 모멘트 경계를 사용하여 서브가우시안 및 서브엑스포네셜 랜덤 변수의 모멘트 생성 함수를 제어함으로써 서브가우시안형 꼬리 행동을 수립한다.
• 틸팅 절차와 로그 볼록성 가정을 적용하여 꼬리가 두꺼운 또는 얇은 분포를 가진 독립적인 랜덤 변수의 합에 대한 하측 경계를 도출한다.
• 이산 분포인 이항분포 및 포아송분포의 확률 질량 함수 분석을 통해 하측 경계를 구성함으로써 기존 상측 경계와의 매칭을 보장한다.
• 체르노프-크라머 기법과 역 불등식을 조합하여 고전적인 농도 불등식의 점근적 감쇠율과 일치하는 하측 꼬리 경계를 도출한다.
• 볼록성과 서브가우시안 모멘트 조건을 사용하여 작고 비점근적인 표본 크기에서도 비점근적이고 날카로운 하측 꼬리 경계를 도출한다.

실험 결과

연구 질문

• RQ1 일반적인 랜덤 변수에 대해 체계적으로 날카로운 비점근적 하측 꼬리 경계를 어떻게 도출할 수 있는가? 특히 상측 경계가 잘 정비되어 있는 상황에서의 문제이다.
• RQ2 서브가우시안 및 서브엑스포네셜 랜덤 변수의 합에 대해 호프딩형 및 버니스타인형 상측 경계와 매칭되는 하측 경계를 개발할 수 있는가?
• RQ3 이항분포, 포아송분포, 감마분포, 베타분포, 카이제곱분포와 같은 고전적 분포에 대해 가능한 한 날카로운 하측 꼬리 경계는 무엇인가?
• RQ4 역 체르노프-크라머 경계는 어떻게 구성하고, 이항분포 및 포아송분포와 같은 이산 분포에 적용하여 날카로움을 달성할 수 있는가?
• RQ5 매칭되는 상측 및 하측 꼬리 경계는 희박한 이종 혼합물에서의 극값 기대값과 신호 탐지에 어떤 영향을 미치는가?

주요 결과

• 논문은 독립적인 서브가우시안 랜덤 변수의 합에 대해 호프딩형 상측 경계와 일치하는 날카로운 하측 꼬리 경계를 수립하였으며, 동일한 지수 감쇠율을 보였다.
• 서브엑스포네셜 합의 경우 유도된 하측 경계가 버니스타인형 상측 경계와 일치함으로써, 양방향으로 농도 불등식 프레임워크의 날카로움이 확인되었다.
• 역 체르노프-크라머 경계가 유도되었으며, 특히 이항분포 및 포아송분포와 같은 이산 분포에 효과적으로 적용됨이 입증되었다. 이는 비점근적 하측 꼬리 제어를 가능하게 한다.
• 감마, 베타, 카이제곱(일반형, 가중형, 비중앙형), 이항분포, 포아송, 아이리언-홀 분포에 대해 본 논문은 처음으로 알려진 날카로운 비점근적 하측 꼬리 경계를 제공한다.
• 독립적인 서브가우시안 및 서브엑스포네셜 랜덤 변수의 합에 대한 극값 기대값은 매칭되는 상측 및 하측 경계를 갖는 것으로 밝혀졌으며, 꼬리 리스크 정량화가 향상되었다.
• 희박한 이종 혼합물로부터의 신호 식별에 대한 통계적 응용이 시연되었으며, 새로운 경계들이 고차원 설정에서 더 신뢰할 수 있는 탐지 성능을 가능하게 한다.