[논문 리뷰] Some Refinements of Large Deviation Tail Probabilities

László Györfi, Peter Harremoës외 1명|arXiv (Cornell University)|2012. 05. 04.

Financial Risk and Volatility Modeling참고 문헌 9인용 수 4

한 줄 요약

이 논문은 고전적인 Bahadur-Rao 추정을 개선하는 가우시안 근사법을 도입하여 i.i.d. 랜덤 변수의 대칭 꼬리 확률을 정밀하게 보정한다. 이는 이항분포 및 일반적인 지수족 분포에 대해 $ O(1/n) $ 오차를 달성하는 바탕이 되는 보정 항 $ c_\mu $ 를 포함한 이동된 가우시안 꼬리로, $ \mathbf{P}\left\{\frac{1}{n}\sum_{i=1}^{n}X_{i} \geq \mu\right\} $ 의 정확한 游근적 표현을 유도한다. 이 보정 항 $ c_\mu $ 는 발산 $ D(\mu\|p) $, 분산, 그리고 모멘트 생성 함수에 의존한다.

ABSTRACT

We study tail probabilities via some Gaussian approximations. Our results make refinements to large deviation theory. The proof builds on classical results by Bahadur and Rao. Binomial distributions and their tail probabilities are discussed in more detail.

연구 동기 및 목표

• 고전적인 Bahadur-Rao 근사 이외의 대칭 꼬리 확률 추정을 정밀화하는 것.
• 표준 정규 근사가 실패하는 대칭 꼬리 영역으로 가우시안 꼬리 근사법을 확장하는 것.
• 특히 이항분포에 대해 i.i.d. 합의 꼬리 확률에 대한 정확한 游근적 표현을 도출하는 것.
• Bahadur-Rao 근사를 $ O(1/n) $ 오차 수준으로 향상시키기 위해 보정 항 $ c_\mu $ 를 제공하는 것.
• 비이산형 및 이산형 랜덤 변수(예: 베르누이 시험 포함)에 대해 游근적 결과를 수립하는 것.

제안 방법

• 모멘트 생성 함수 $ \mathcal{Z}(\beta) $ 를 통해 정의된 $ P_\beta $ 를 사용한 지수족 프레임워크를 사용한다.
• $ \frac{\mathcal{Z}'(\beta)}{\mathcal{Z}(\beta)} = \mu $ 를 만족하는 $ \hat{\beta}(\mu) $ 를 정의하여 평균과 모멘트 매개변수를 연결한다.
• 이항분포의 경우 정보 발산 $ D(\mu\|p) = \mu\ln\frac{\mu}{p} + (1-\mu)\ln\frac{1-\mu}{1-p} $ 를 적용한다.
• 보정 항 $ c_\mu $ 는 $ \frac{\ln\left( \frac{(2D(\mu))^{1/2}}{V(\mu)^{1/2} \cdot \text{effective} \, \beta} \right)}{\hat{\beta}(\mu)} $ 를 통해 도입되며, 이는 가우시안 꼬리의 인자에 조정을 가한다.
• 주요 근사식 유도: $ \mathbf{P}\left\{\frac{1}{n}\sum X_i \geq \mu\right\} = \Phi\left( -n^{1/2} \sqrt{2D(\mu - \frac{c_\mu}{n})} \right) (1 + O(1/n)) $.
• 이산형 분포에 대해 이 방법을 적응시키기 위해 $ \hat{\beta}(\mu) $ 를 $ \frac{1 - e^{-d\hat{\beta}(\mu)}}{d} $ 로 대체함으로써 游근적 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 가우시안 근사법은 정규 근사가 실패하는 대칭 꼬리 영역으로까지 확장 가능하며, 더 높은 정확도를 달성할 수 있는가?
• RQ2 평균에서 멀리 떨어진 $ \mu $ 에 대해 $ \mathbf{P}\left\{\frac{1}{n}\sum X_i \geq \mu\right\} $ 의 정확한 游근적 형태는 무엇인가?
• RQ3 Bahadur-Rao 근사를 $ O(1/n) $ 오차 수준으로 향상시키기 위해 보정 항 $ c_\mu $ 는 어떻게 유도할 수 있는가?
• RQ4 특히 베르누이 시험의 경우 이산형 랜덤 변수에 대해 이 근사법은 어떻게 행동하는가?
• RQ5 수치적 증거에 따르면, 근사 결과를 더 강력한 부등식으로 강화할 수 있는가?

주요 결과

• 꼬리 확률 $ \mathbf{P}\left\{\frac{1}{n}\sum X_i \geq \mu\right\} $ 는 $ \Phi\left( -n^{1/2} \sqrt{2D(\mu - \frac{c_\mu}{n})} \right) (1 + O(1/n)) $ 로 游근적으로 근사되며, 여기서 $ D(\mu\|p) $ 는 킬블러-라이블러 발산이다.
• 이항분포의 경우 보정 항은 $ c_\mu = \frac{1}{2} + \frac{\ln\left( \frac{2D(\mu\|p)}{(\mu-p)^2 p(1-p)} \right)}{2\ln\left( \frac{\mu(1-p)}{p(1-\mu)} \right)} $ 이며, $ p=0.5 $ 일 때 $ c_\mu \in (0.5, 0.534) $ 이다.
• 수치적 결과는 $ p=0.5 $ 일 때 $ c_\mu \approx 0.5 + (\mu - 0.5)/12 $ 라고 나타내어 거의 선형 보정임을 시사한다.
• 비이산형 및 이산형 랜덤 변수 모두에 대해 이 근사가 성립하며, 이산형의 경우 수정된 효과적인 $ \beta $-매개변수를 사용한다.
• Bahadur-Rao 결과를 개선하기 위해 가우시안 꼬리 인자의 정교한 이동을 통합함으로써 오차를 $ O(1/\sqrt{n}) $ 에서 $ O(1/n) $ 으로 감소시켰다.
• 수치 실험은 작은 $ n $ 에 대해서도 근사의 정확도를 확인하여 실용적 유용성을 뒷받침한다.