[논문 리뷰] Multivariate Normal Approximation by Stein's Method: The Concentration Inequality Approach

Louis H. Y. Chen, Xiao Fang|arXiv (Cornell University)|2011. 11. 17.

Random Matrices and Applications참고 문헌 21인용 수 27

한 줄 요약

이 논문은 스틴의 방법의 농도 불등식 접근을 다변량 정규 근사로 확장하여, 독립적인 $k$-차원 랜덤 벡터의 합에 대해 차원에 의존하는 오차 한계를 $k^{1/2}\gamma$ 순서로 제공한다. 여기서 $\gamma = \sum_{i=1}^n \mathbb{E}|X_i|^3$ 이다. 또한 국소적으로 종속된 벡터에 대해서도 경계를 설정하여, 네 번째 모멘트 조건 하에서는 $O_k(1/eta{\sqrt{n}})$, 세 번째 모멘트 조건 하에서는 $O_k(\log n / \sqrt{n})$의 오차율을 달성한다.

ABSTRACT

The concentration inequality approach for normal approximation by Stein's method is generalized to the multivariate setting. We use this approach to prove a non-smooth function distance for multivariate normal approximation for standardized sums of $k$-dimensional independent random vectors $W=\sum_{i=1}^n X_i$ with an error bound of order $k^{1/2}γ$ where $γ=\sum_{i=1}^n E|X_i|^3$. For sums of locally dependent (unbounded) random vectors, we obtain a fourth moment bound which is typically of order $O_k(1/\sqrt{n})$, as well as a third moment bound which is typically of order $O_k(\log n/\sqrt{n})$.

연구 동기 및 목표

• 비연속 함수 거리에 대해 스틴의 방법의 농도 불등식 접근을 다변량 설정으로 일반화하기.
• 표준화된 독립적인 $k$-차원 랜덤 벡터의 합에 대한 다변량 정규 근사의 명시적 오차 한계 유도하기.
• 유한한 세 번째 및 네 번째 모멘트 조건 하에서 국소적으로 종속된 랜덤 벡터로 이 프레임워크를 확장하기.
• 특히 비연속 함수 거리(예: 볼록 집합 지표 함수)에 대해 기존 문헌에서 얻은 차원에 의존하는 오차율보다 개선된 결과 도출하기.

제안 방법

• 거리 함수의 기하학적 성질을 이용하여, 합 $W = \sum_{i=1}^n X_i$ 가 볼록 집합 $A$ 의 $\epsilon$-근접 영역에 있을 확률에 대한 다변량 농도 불등식을 개발한다.
• 거리 함수 $f_i(x)$ 의 방향 도함수 기반 분석을 도입하여, $W$ 가 $A^\epsilon$ 경계 근처에서의 행동을 제어한다.
• 농도 불등식을 적용하여, 표준 정규 분포 $Z$ 에 대해 $\mathbb{P}(W \in A)$ 와 $\mathbb{P}(Z \in A)$ 의 차이를 유계로 제한하고, 이로써 $k^{1/2}\gamma$ 를 포함한 오차 한계를 도출한다.
• 연도 구조 분석을 위해 연산자 노름과 유클리드 노름을 사용하여 국소적 종속성 하에서의 경계를 유도한다.
• 투영과 초평면을 포함한 기하학적 추론을 통해 거리 함수의 다양한 방향에서의 변화를 제어하는 데 사용된다.
• 의존성 그래프의 구조와 모멘트 조건을 활용하여 국소적으로 종속된 랜덤 벡터의 합에 이 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 스틴의 방법의 농도 불등식 접근을 비연속 함수 거리에 대해 다변량 설정으로 일반화할 수 있는가?
• RQ2 이 접근을 사용하여 독립적인 $k$-차원 랜덤 벡터의 합에 대한 다변량 정규 근사의 최적 차원에 의존하는 오차 한계는 무엇인가?
• RQ3 이 방법은 국소적으로 종속된 랜덤 벡터를 다루기 위해 어떻게 확장될 수 있으며, 유한한 모멘트 조건 하에서 유도할 수 있는 오차 한계는 무엇인가?
• RQ4 이 방법에서의 $k^{1/2}$ 차원 의존성은 기존 문헌의 결과와 비교해 볼 때 어떻게 평가할 수 있는가?

주요 결과

• 영균위와 단위 공분산을 가진 독립적인 $k$-차원 랜덤 벡터의 합에 대해, 다변량 정규 근사의 오차 한계는 $O(k^{1/2}\gamma)$ 이며, 여기서 $\gamma = \sum_{i=1}^n \mathbb{E}|X_i|^3$ 이다.
• 볼록 집합 $A \subset \mathbb{R}^k$ 에 대해, $\mathbb{P}(W \in A^{4\gamma + \epsilon} \setminus A^{4\gamma}) \leq 4.1k^{1/2}\epsilon + 39k^{1/2}\gamma$ 라는 경계가 성립하며, 이는 핵심적인 농도 불등식을 확립한다.
• 국소적으로 종속된 랜덤 벡터에 대해, 네 번째 모멘트 조건 하에서는 $O_k(1/\sqrt{n})$ 의 오차 한계, 세 번째 모멘트 조건 하에서는 $O_k(\log n / \sqrt{n})$ 의 오차 한계를 도출한다.
• $k^{1/2}$ 의 차원 의존성은 이전 연구에서 얻은 $k^{5/2}$, $k^{3/2}$, 또는 $k$ 의 의존성보다 개선된 결과이며, 비록 Bentkus(2005)의 $k^{1/4}$ 가 더 우수하긴 하지만 말이다.
• 이 방법은 그래프 기반 의존성 구조와 i.i.d. 시퀀스의 부분 곱의 공동 분포 문제 등에 적용 가능하며, 광범위한 적용 가능성을 보여준다.
• 이전 연구에서 사용된 귀납 기법을 피함으로써, 귀납이 불가능한 종속적인 구조에 대해 새로운 접근 경로를 제공한다.