[논문 리뷰] On a new limit theorem in probability theory (Translation of 'Sur un nouveau théorème-limite de la théorie des probabilités')

Harald Cramér, Hugo Touchette|arXiv (Cornell University)|2018. 02. 16.

Stochastic processes and statistical mechanics참고 문헌 1인용 수 7

한 줄 요약

이 획기적인 1938년 논문에서 하랄트 크라머는 확률 이론에서 처음으로 엄밀한 대 deviations 원리(대 deviations 원리)를 도입하여, 서로 독립 동일분포를 따르는 랜덤 변수들의 합에 대한 꼬리 확률의 渐近적 지수 감쇠 비율을 유도한다. 에셔 변환을 적용하여 측도를 기울이고 모멘트 생성 함수를 분석함으로써, 누적모멘트 생성 함수에서 유도된 비용 함수를 갖는 대 deviations 원리를 수립함으로써, 통계학, 통계역학, 정보이론 분야에서 현대 대 deviations 이론의 기초를 마련한다.

ABSTRACT

This is a translation of Harald Cramér's article, 'On a new limit theorem in probability theory', published in French in 1938 and deriving what is considered by mathematicians to be the first large deviation result. My hope is that this translation will help disseminate this historically important work, 80 years after its publication.

연구 동기 및 목표

• 독립 동일분포를 따르는 랜덤 변수들의 합에 대한 희귀 꼬리 사건을 추정할 때 중심극한정리의 한계를 해결하기 위해.
• 확률 분포에서 $ n $의 주변의 변동(즉, $ \sqrt{n} $이 아닌 $ n $의 주변)에 대한 대 deviations의 渐近적 감쇠 비율을 추정하기 위한 방법을 개발하기 위해.
• 무한대에 가까워질 때 $ n \to \infty $가 되는 독립 랜덤 변수들의 합에 대한 꼬리 확률에 대해 엄밀한 渐近적 전개를 제공하기 위해.
• 대 deviations 확률의 정확한 渐近적 분석을 가능하게 하는 변환(후에 크라머 변환으로 알려짐)을 도입하기 위해.
• 특히, 0의 이웃에서 모멘트 생성 함수의 존재를 보장하는 크라머 조건을 포함하여, 대 deviations 원리가 성립하는 조건을 수립하기 위해.

제안 방법

• 논문은 대 deviations 확률을 분석할 수 있도록 측도를 재조정하기 위해 에셔 변환(또는 지수 기울임)을 사용한다.
• 생존함수 $ 1 - F(x,t) $ 와 기울인 분포 및 지수 요소 $ R^t e^{-h \bar{m} t} $ 를 포함하는 적분 사이의 항등식을 유도한다. 여기서 $ R $ 은 증분 분포의 모멘트 생성 함수이다.
• 이 방법은 모멘트 생성 함수의 해석적 계속성과 라플라스 방법을 사용하여 적분의 渐近적 행동을 근사하는 데 의존한다.
• 크라머는 누적모멘트 생성 함수의 개념을 도입하고, 그 레이지언드르 변환을 사용하여 비용 함수를 정의함으로써, 꼬리 확률의 지수 감쇠를 지배하는 비용 함수를 유도한다.
• 이 분석은 이산 시간 및 연속 시간 설정 모두에서 수행되며, 이산 경우는 $ n $ 개의 i.i.d. 변수들의 합을 포함하고, 연속 경우는 시간 매개변수 $ t $ 를 사용한다.
• 핵심 기술적 단계는 크라머 조건(0의 이웃에서 모멘트 생성 함수의 존재)이 성립할 경우, 꼬리 확률이 $ \exp(-n I(x)) $ 와 같이 지수적으로 감쇠함을 증명하는 것이다. 여기서 $ I(x) $ 는 비용 함수이다.

실험 결과

연구 질문

• RQ1 어떻게 하면 $ n $ 개의 i.i.d. 랜덤 변수들의 합이 평균으로부터 $ \sqrt{n} $ 가 아닌 $ n $ 의 주변에서 벗어나는 사건의 확률을 엄밀하게 추정할 수 있는가?
• RQ2 개별 랜덤 변수의 분포에 어떤 조건이 있어야 꼬리 확률이 $ n $ 에 대해 지수적으로 감쇠하는가?
• RQ3 대 deviations를 일반적인 사건으로 만들 수 있도록 측도를 재가중하는 변환을 구성할 수 있는가?
• RQ4 대 deviations 영역에서 꼬리 확률의 정확한 渐近적 전개 형태는 무엇인가?
• RQ5 꼬리 확률의 감쇠 속도는 기저 분포의 누적모멘트 생성 함수와 어떻게 관련이 있는가?

주요 결과

• 논문은 첫 번째 대 deviations 원리를 수립한다: 꼬리 확률 $ \mathbb{P}(S_n > nx) $ 는 $ \exp(-n I(x)) $ 와 같이 지수적으로 감쇠하며, 여기서 $ I(x) $ 는 누적모멘트 생성 함수의 레이지언드르 변환을 통해 정의된 비용 함수이다.
• 비용 함수 $ I(x) $ 는 누적모멘트 생성 함수 $ \Lambda(h) = \log \mathbb{E}[e^{hX}] $ 의 레이지언드르 변환으로 주어지며, $ x $ 가 합의 가능한 평균의 범위 내에 있을 때에만 유한하다.
• 크라머 조건(0의 이웃에서 모멘트 생성 함수의 존재)이 성립할 경우, 생존함수의 渐近적 전개는 지수 항 $ R^n e^{-h \bar{m} n} $ 에 의해 支배된다. 여기서 $ R $ 은 모멘트 생성 함수이고, $ h $ 는 $ \mathbb{E}[X e^{hX}] = \bar{m} $ 를 만족하도록 선택된다.
• 논문은 대 deviations 확률이 $ R^n e^{-h \bar{m} n} \int_0^\infty e^{-h \bar{\sigma} \sqrt{n} y} d\bar{F}(y,n) $ 와 渐近적으로 동치임을 보여주며, 이는 이산 케이스와 유사하고 지수 감쇠를 확인한다.
• 비용 함수 $ I(x) $ 는 엄밀히 볼록이며, 평균에서 최소값을 가지며, $ I(\mu) = 0 $ 이고, 평균에서 멀어질수록 급격히 증가한다.
• 이 방법은 i.i.d. 랜덤 변수들의 합에서 희귀 사건의 감쇠 비율을 체계적으로 계산할 수 있는 방법을 제공하며, 보험 과학, 대기열 이론, 통계역학 등 다양한 분야에 응용된다.