[논문 리뷰] Convex programming approach to robust estimation of a multivariate Gaussian model

Samuel Balmand, Arnak S. Dalalyan|arXiv (Cornell University)|2015. 12. 15.

Advanced Statistical Methods and Models참고 문헌 27인용 수 5

한 줄 요약

이 논문은 악성 이상치가 존재하는 상황에서 다변량 정규분포의 평균과 공분산 행렬을 안정적으로 추정하기 위한 볼록 최적화 기반 추정기의 제안한다. 보편적인 조정 파rameter를 사용하여 정규화된 제곱근-최소제곱 손실을 최소화함으로써, 항목별 ℓ₁, 프로베니우스, 혼합 ℓ₂/ℓ₁ 노름에 대해 동시에 최적의 수렴 속도를 확보한다. 이는 변수 수가 표본 크기를 초과하는 경우라도 희소성 가정 하에 성립한다.

ABSTRACT

Multivariate Gaussian is often used as a first approximation to the distribution of high-dimensional data. Determining the parameters of this distribution under various constraints is a widely studied problem in statistics, and is often considered as a prototype for testing new algorithms or theoretical frameworks. In this paper, we develop a nonasymptotic approach to the problem of estimating the parameters of a multivariate Gaussian distribution when data are corrupted by outliers. We propose an estimator---efficiently computable by solving a convex program---that robustly estimates the population mean and the population covariance matrix even when the sample contains a significant proportion of outliers. Our estimator of the corruption matrix is provably rate optimal simultaneously for the entry-wise $\ell_1$-norm, the Frobenius norm and the mixed $\ell_2/\ell_1$ norm. Furthermore, this optimality is achieved by a penalized square-root-of-least-squares method with a universal tuning parameter (calibrating the strength of the penalization). These results are partly extended to the case where $p$ is potentially larger than $n$, under the additional condition that the inverse covariance matrix is sparse.

연구 동기 및 목표

• 데이터에 상당한 비율의 이상치가 포함된 경우에도 비점근적이고 강건한 다변량 정규분포 모수 추정기 개발
• 다양한 행렬 노름(ℓ₁, 프로베니우스, 혼합 ℓ₂/ℓ₁)에 대해 평균과 공분산 행렬의 최적 수렴 속도 추정 달성
• 역공분산 행렬에 희소성 제약 조건이 있는 고차원 설정(p > n)으로의 방법 확장
• 볼록 최적화와 보편적인 조정 파rameter를 사용한 추정기 성능에 대한 이론적 보장을 제공
• 기존의 강건 추정기의 한계를 극복하기 위해 데이터 적합성과 희소성 촉진 페널티를 융합

제안 방법

• 추정기는 잔차 행렬의 혼합 ℓ₂/ℓ₁ 노름과 정규화된 제곱근-최소제곱 항을 조합한 볼록 비용 함수의 최소화자로 정의된다.
• 데이터 적합성 항은 잔차 행렬의 혼합 ℓ₂/ℓ₁ 노름을 사용하여 관측 데이터에서의 이탈을 측정한다.
• 이상치를 모델링하는 오염 행렬에 희소성 촉진 페널티를 적용하여 희소한 이상치 패턴을 장려한다.
• 페널티는 오염 행렬의 혼합 ℓ₂/ℓ₁ 노름에 비례하여 적용되며, 고차원 이상치에 대한 강건성을 보장한다.
• 고차원 케이스(p > n)에서는 역공분산 행렬에 추가로 가중치가 부여된 ℓ₁ 페널티를 적용하여 희소성 조건을 강제한다.
• 모든 페널티 강도를 조정하기 위해 보편적인 조정 파rameter를 사용하여 교차검증을 피한다.

실험 결과

연구 질문

• RQ1 볼록 최적화 프레임워크는 일반적인 노름 손실 하에서 다변량 정규분포 모수의 최적 수렴 속도 추정을 달성할 수 있는가?
• RQ2 변수 수 p가 표본 크기 n을 초과할 경우 제안된 추정기는 어떻게 성능을 발휘하는가?
• RQ3 보편적인 조정 파rameter를 사용하면 데이터 기반 캘리브레이션 없이도 최적의 수렴 속도를 달성할 수 있는가?
• RQ4 고차원적 희소성 가정 하에서 추정기의 이론적 성능 보장은 무엇인가?
• RQ5 이 방법은 다수의 행렬 노름(ℓ₁, 프로베니우스, ℓ₂/ℓ₁)에서 동시에 최적의 오차율을 달성할 수 있는가?

주요 결과

• 제안된 추정기는 오염 행렬의 항목별 ℓ₁-노름, 프로베니우스 노름, 혼합 ℓ₂/ℓ₁ 노름에 대해 동시에 최적의 오차 범위를 확보한다.
• 최적성은 보편적인 조정 파rameter를 사용한 정규화된 제곱근-최소제곱 방법을 통해 달성되며, 데이터 기반 캘리브레이션의 필요성을 제거한다.
• 고차원 설정(p > n)에서는 역공분산 행렬이 희소하다는 가정 하에 이론적으로 타당성을 유지한다.
• 제약된 고유값 조건 하에서 경험 공분산 행렬에 대해 이론적 리스크 경계를 확립하였지만, 이 사건의 확률은 아직 규명되지 않았다.
• 실험 결과는 이 방법이 최첨단 강건 추정기와 경쟁 가능하며, 특히 이상치 비율이 30%에 이르는 상황에서 뛰어난 성능을 보인다.
• 식별된 이상치를 제거한 후 정밀도 행렬을 재추정함으로써 추정 오차가 추가로 감소함을 확인하였으며, 이는 이중 단계 보정이 성능 향상에 기여함을 시사한다.