[논문 리뷰] A simple proof for the multivariate Chebyshev inequality

Jorge Navarro|arXiv (Cornell University)|2013. 05. 24.

Optimal Experimental Design Methods참고 문헌 4인용 수 4

한 줄 요약

이 논문은 다변량 체비셰프 부등식에 대한 간단한, 주성분 기반 증명을 제시한다. 유한한 평균과 정칙 공분산 행렬을 가진 임의의 랜덤 벡터에 대해, 마할라노비스 거리가 $\sqrt{\varepsilon}$ 이하인 타원체 내에 포함된 인구의 비율은 최소 $100(1 - n/\varepsilon)\%$ 이상임을 보여준다. 증명은 직교 대각화와 마르코프 부등식을 활용하여 켄(2011)의 결과를 명확하고 교육적으로 접근 가능한 방식으로 유도한다.

ABSTRACT

In this paper a simple proof of the Chebyshev's inequality for random vectors obtained by Chen (arXiv:0707.0805v2, 2011) is obtained. This inequality gives a lower bound for the percentage of the population of an arbitrary random vector X with finite mean E(X) and a positive definite covariance matrix V=Cov(X) whose Mahalanobis distance with respect to V to the mean E(X) is less than a fixed value. The proof is based on the calculation of the principal components.

연구 동기 및 목표

• 유한한 평균과 정칙 공분산 행렬을 가진 랜덤 벡터에 대해 다변량 체비셰프 부등식의 새로운, 기본적인 증명을 제공하는 것.
• 주성분 분석을 통해 부등식을 유도할 수 있음을 보여주어 교육적 접근성을 향상시키는 것.
• 공분산 행렬이 특이행렬인 열악한 경우에도 비영인 고유값들만을 사용하여 결과를 일반화하는 것.
• 특정 조건부 분포, 특히 회귀 모델에서 발생하는 조건부 평균 벡터에 대한 신뢰 영역을 유도함으로써 조건부 추론에의 응용을 보여주는 것.

제안 방법

• 공분산 행렬 $V$ 에 대해 직교 대각화를 적용하여 $V = TDT^\top$ 로 표현하며, $D$ 는 양의 고유값 $\lambda_i$ 를 대각선에 가진 대각행렬이다.
• 랜덤 벡터 $\mathbf{X}$ 를 $\mathbf{Y} = D^{-1/2}T^\top(\mathbf{X} - \mu)$ 로 변환하여 공분산 행렬이 항등행렬인 표준화된 벡터를 얻는다.
• 마할라노비스 거리의 제곱을 $Z = (\mathbf{X} - \mu)^\top V^{-1}(\mathbf{X} - \mu) = \mathbf{Y}^\top\mathbf{Y}$ 로 정의하며, 이는 $\mathbf{Y}$ 의 성분 제곱합과 같다.
• Markov의 부등식을 $Z$ 에 적용하며, $\mathbb{E}[Z] = n$ 이므로 $\Pr(Z \geq \varepsilon) \leq n/\varepsilon$ 를 도출한다.
• 특이 공분산 행렬의 경우, 비퇴화된 부분공간(차원 $m-1$)으로 변환을 제한하고, bound 를 $1 - (m-1)/\varepsilon$ 로 조정한다.
• 조건부 분포, 예를 들어 $\mathbf{Y} \mid \mathbf{X} = \mathbf{x}$ 에 적용하여 회귀 함수 주위의 신뢰 영역을 구성한다.

실험 결과

연구 질문

• RQ1 주성분 분석을 통해 다변량 체비셰프 부등식을 증명할 수 있는가? 이 증명은 다변량 통계 기초 과정에서 간단하고 접근하기 쉬운가?
• RQ2 유한한 평균과 공분산만을 가정할 때, 마할라노비스 거리 타원체 내에 랜덤 벡터가 포함될 확률에 대한 가장 날카로운 하한은 무엇인가?
• RQ3 공분산 행렬이 특이행렬일 경우 부등식은 어떻게 행동하며, 분포의 유효 차원에 따라 경계를 어떻게 조정할 수 있는가?
• RQ4 부등식은 회귀 모델에서 발생하는 조건부 분포, 예를 들어 조건부 평균 벡터에 대한 신뢰 영역을 제공할 수 있는가?
• RQ5 유도된 경계와 다변량 정규분포에서의 정확한 확률 간의 관계는 무엇이며, 카이제곱 분포와 비교해보면 어떻게 되는가?

주요 결과

• 모든 $\varepsilon > 0$ 과 유한한 평균과 정칙 공분산 행렬을 가진 모든 랜덤 벡터 $\mathbf{X}$ 에 대해 부등식 $\Pr((\mathbf{X} - \mu)^\top V^{-1}(\mathbf{X} - \mu) \geq \varepsilon) \leq n/\varepsilon$ 이 성립한다.
• $\varepsilon = 4n$ 인 경우, 부등식에 의해 마할라노비스 거리 타원체 내에 최소 75%의 인구가 포함됨을 보장한다.
• 랜덤 벡터 $\mathbf{X}$ 가 다변량 정규분포를 따를 경우, 마할라노비스 거리 $Z$ 는 $\chi^2_n$ 분포를 따르며, $n=2$ 일 때 $\Pr(Z < 8) \approx 0.9817$ 이며, 이는 하한값 0.75 를 초과한다.
• 질량이 $m-1$ 인 열악한 경우, 경계는 $\Pr(\cdots < \varepsilon) \geq 1 - (m-1)/\varepsilon$ 로 변형되며, 첫 번째 $m-1$ 개 주성분이 생성하는 부분공간에서 유효하다.
• 예를 들어 $\mathbf{Y} \mid \mathbf{X} = \mathbf{x}$ 와 같은 조건부 분포에 대해 부등식을 적용하면 $\Pr([\mathbf{Y} - \mu(\mathbf{x})]^\top [V(\mathbf{x})]^{-1}[\mathbf{Y} - \mu(\mathbf{x})] \geq \varepsilon \mid \mathbf{X} = \mathbf{x}) \leq (n-k)/\varepsilon$ 를 도출할 수 있으며, 이는 회귀 함수 주위의 신뢰 영역을 제공한다.
• 증명은 주성분과 마르코프 부등식에만 기반하여 간단하며, 표준 다변량 통계 교과서에 포함하기에 적합하다.