[논문 리뷰] Large Dimensional Analysis and Optimization of Robust Shrinkage Covariance Matrix Estimators

Romain Couillet, Matthew R. McKay|arXiv (Cornell University)|2014. 01. 16.

Random Matrices and Applications참고 문헌 21인용 수 10

한 줄 요약

이 논문은 고차원 설정에서 타이러의 M-추정량과 레디트-울프 수축 기법을 융합하여 강건한 공분산 행렬 추정기의 최적 수축 전략을 개발한다. 랜덤 행렬 이론을 활용하여 점차적 최적 수축 파라미터를 유도함으로써, 특히 고차원, 이상치에 강건하고 표본 수가 적은 조건에서 경험적 방법에 비해 추정 정확도를 크게 향상시킨다.

ABSTRACT

This article studies two regularized robust estimators of scatter matrices proposed (and proved to be well defined) in parallel in (Chen et al., 2011) and (Pascal et al., 2013), based on Tyler's robust M-estimator (Tyler, 1987) and on Ledoit and Wolf's shrinkage covariance matrix estimator (Ledoit and Wolf, 2004). These hybrid estimators have the advantage of conveying (i) robustness to outliers or impulsive samples and (ii) small sample size adequacy to the classical sample covariance matrix estimator. We consider here the case of i.i.d. elliptical zero mean samples in the regime where both sample and population sizes are large. We demonstrate that, under this setting, the estimators under study asymptotically behave similar to well-understood random matrix models. This characterization allows us to derive optimal shrinkage strategies to estimate the population scatter matrix, improving significantly upon the empirical shrinkage method proposed in (Chen et al., 2011).

연구 동기 및 목표

• 표본 수가 적고 이상치가 존재하는 상황에서 큰 차원의 공분산 행렬을 추정하는 문제에 대응한다.
• 해석적으로 최적 수축 파라미터를 도출하여 경험적 수축 방법에 비해 강건한 공분산 추정을 향상시킨다.
• i.i.d. 타원형 분포 표본에서 강건한 수축 추정기와 잘 이해된 랜덤 행렬 모델 간의 점차적 동치성을 수립한다.
• 거의확실 수렴 결과를 활용하여 고차원 강건 통계에서 최적 수축의 이론적 기반을 제공한다.
• N ≈ n 인 고차원 영역에서 강건 추정과 수축 기법 간의 격차를 메운다.

제안 방법

• 타이러의 M-추정량과 레디트-울프 수축을 융합한 두 가지 하이브리드 강건 수축 추정기인 아브라모비치–파스칼 추정기와 켄 추정기를 제안한다.
• 큰 차원에서의 랜덤 행렬 이론을 적용하여 N, n → ∞ 이면서 N/n → c ∈ (0,1) 인 점차적 행동을 분석한다.
• 암시적 방정식과 스펙트럼 노름 수렴을 이용하여 추정기와 관련된 트레이스 및 이차형식의 결정론적 등가를 도출한다.
• 제안된 점차적 모델 하에서 경험적 수축 파라미터가 결정론적 등가로 거의확실하게 수렴함을 증명한다.
• 평균 제곱오차의 결정론적 근사값을 최소화함으로써 수축 파라미터를 최적화하고, 닫힌 형태의 해를 도출한다.
• 연속성과 수렴 추론을 활용하여 최적 수축 파라미터 및 그로 인한 추정기가 결정론적 극한으로 거의확실하게 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 N ≈ n 인 고차원 영역에서 강건한 수축 공분산 추정기의 점차적 행동은 어떻게 되는가?
• RQ2 이전 연구에서 사용된 경험적 수축 파라미터는 결정론적이고 점차적으로 최적인 대안으로 개선될 수 있는가?
• RQ3 i.i.d. 타원형 표본에서 강건한 수축 추정기의 점차적 분포는 무엇인가?
• RQ4 타이러 추정기로 구현된 강건성과 레디트-울프로 구현된 수축 간의 상호작용은 유한 표본에서 추정 정확도에 어떻게 영향을 미치는가?
• RQ5 랜덤 행렬 이론을 활용하여 최적 수축 파라미터를 해석적으로 유도할 수 있으며, 경험적 방법보다 성능이 뛰어나게 되는가?

주요 결과

• 제안된 최적 수축 파라미터는 점차적 평균 제곱오차를 최소화하는 결정론적 극한으로 거의확실하게 수렴한다.
• 강건한 수축 추정기의 점차적 행동은 랜덤 행렬 이론에서 도출된 결정론적 등가를 통해 특징지어지며, 정밀한 분석이 가능해진다.
• 추정기의 점차적 동치성 및 수렴 결과를 통해, 켄 등(2011)에서 제안한 경험적 방법에 비해 정확도가 크게 향상됨을 검증하였다.
• 수축 파라미터가 이론적 최적값으로 거의확실하게 수렴함으로써, 고차원 설정에서 일관된 성능을 보장한다.
• 기본 분포의 스펙트럼 모멘트를 포함하는 암시적 방정식을 통해 수축 파라미터의 결정론적 등가가 명시적으로 유도되었다.
• 추정기에 포함된 트레이스 및 이차형식의 수렴은 정규화된 표본 통계량이 그들의 모집단 대응값으로 거의확실하게 수렴함을 통해 확립되었다.