[논문 리뷰] Estimation of the covariance structure of heavy-tailed distributions

Stanislav Minsker, Xiaohan Wei|arXiv (Cornell University)|2017. 08. 01.

Advanced Statistical Methods and Models참고 문헌 23인용 수 22

한 줄 요약

이 논문은 무거운 尾를 가진 분포에 대해 유한한 네 번째 순서 모멘트만을 요구하는 강건한 공분산 행렬 추정기법을 제안한다. 이는 난수 행렬 이론과 중앙값-평균 기법을 활용하며, 임베딩 차원이 아닌 내재 차원에 따라 밀도가 높은 농도를 가지며, 약한 모멘트 가정 하에 고차원 설정에서 강력한 이론적 보장을 제공한다.

ABSTRACT

We propose and analyze a new estimator of the covariance matrix that admits strong theoretical guarantees under weak assumptions on the underlying distribution, such as existence of moments of only low order. While estimation of covariance matrices corresponding to sub-Gaussian distributions is well-understood, much less in known in the case of heavy-tailed data. As K. Balasubramanian and M. Yuan write, "data from real-world experiments oftentimes tend to be corrupted with outliers and/or exhibit heavy tails. In such cases, it is not clear that those covariance matrix estimators .. remain optimal" and "..what are the other possible strategies to deal with heavy tailed distributions warrant further studies." We make a step towards answering this question and prove tight deviation inequalities for the proposed estimator that depend only on the parameters controlling the "intrinsic dimension" associated to the covariance matrix (as opposed to the dimension of the ambient space); in particular, our results are applicable in the case of high-dimensional observations.

연구 동기 및 목표

• 고차원 설정에서 무거운 尾 분포에 대한 강건한 공분산 추정 방법의 부족을 해결한다.
• 최소한의 모멘트 가정, 예를 들어 네 번째 순서 모멘트의 존재만으로도 강력한 이론적 보장을 갖는 추정기법을 개발한다.
• 편향을 유발하는 필터링 단계나 이상치 제거와 같은 히우리스틱 전처리 단계에 의존하지 않도록 한다.
• 임베딩 차원이 아닌 내재 차원에 따라 지수적으로 날카로운 편차 경계를 달성한다.
• 고전적 표본 공분산 추정기법의 대체로 계산적으로 실현 가능하고 이론적으로 타당한 방법을 제공한다.

제안 방법

• 데이터를 부분집합으로 나누고 각 부분집합에서 표본 공분산 행렬을 계산하는 방식의 중앙값-평균 추정기법을 제안한다.
• 각 분할에서의 표본 공분산 행렬의 중앙값을 사용하여 극단적인 이상치에 대한 민감도를 감소시킨다.
• 난수 행렬 이론의 도구를 활용하여 추정기법의 농도 부등식을 유도한다.
• 내재 차원 매개변수를 사용하여 진짜 공분산 행렬에서 추정기법의 연산자 노름 편차를 제한한다.
• 꼬리 행동을 제어하고 모멘트 조건을 확보하기 위해 임계값 매개변수 θ를 통한 절단 메커니즘을 도입한다.
• 핵심 노름과 프로베니우스 노름 성질을 활용하여 추정 오차의 균일한 경계를 도출한다.

실험 결과

연구 질문

• RQ1 네 번째 순서 모멘트 가정만으로도 강력한 농도 성질을 유지하는 공분산 추정기법을 구성할 수 있는가?
• RQ2 추정 오차가 임베딩 차원에 의존하는 대신 내재 차원에 의존하도록 할 수 있는가?
• RQ3 고차원 설정에서, 무거운 尾에 대한 강건성과 통계적 효율성 사이의 최적의 트레이드오프는 무엇인가?
• RQ4 꼬리 행동에 대한 사전 지식이 없거나 이상치 제거가 필요 없이 계산적으로 실현 가능한 추정기법을 설계할 수 있는가?
• RQ5 약한 분포 가정 하에서 이러한 추정기법에 대해 어떤 이론적 보장(예: 편차 경계)을 증명할 수 있는가?

주요 결과

• 제안된 추정기법은 추정 오차의 연산자 노름에 대해 지수적으로 날카로운 편차 경계를 달성한다.
• 편차 경계는 임베딩 차원이 아닌 내재 차원에만 의존하므로, 고차원 설정에서의 적용 가능성을 보장한다.
• 네 번째 순서 모멘트만 존재하는 경우에도 추정기법은 강력한 농도를 유지하며, 이는 서브-가우시안 또는 유계 분포에 비해 가정 조건을 크게 약화시킨다.
• 추정 오차의 상한은 $ \sigma_0^2 \leq R^2 \|\Sigma_0\| \cdot \mathrm{tr}(\Sigma_0) $ 형태이며, 여기서 $ R $는 쿠르토시스를 제어하고 $ \sigma_0^2 $는 $ \mathbb{E}[XX^T \|X\|_2^2] $의 최대 고유값이다.
• 이 추정기법은 이상치와 무거운 尾 데이터에 대해 강건하며, 데이터 전처리나 편향을 유발하는 필터링 단계가 필요 없이 이론적 보장을 제공한다.
• 내재된 차원에 대한 최적의 의존성을 달성하며, 서브-가우시안 설정에서 알려진 최소 최대 속도와 일치하는 날카로운 경계로 이를 입증한다.