[논문 리뷰] A Shrinkage Principle for Heavy-Tailed Data: High-Dimensional Robust Low-Rank Matrix Recovery

Jianqing Fan, Weichen Wang외 1명|arXiv (Cornell University)|2016. 03. 28.

Sparse and Compressive Sensing Techniques참고 문헌 53인용 수 34

한 줄 요약

이 논문은 둥근 꼬리 노이즈를 가진 고차원적 낮은 질서 행렬 복원에 대해 둥근 꼬리 분포를 가진 노이즈에서 둥근 두 번째 또는 네 번째 모멘트만을 가정함으로써 강력한 고차원 낮은 질서 행렬 복원을 가능하게 하는 수축 원리를 도입한다. 데이터를 페널티가 부과된 최소 제곱법을 적용하기 이전에 자르기 또는 수축시키는 것으로, 조건부 정규 분포 설정과 동일한 최적의 통계적 오차율을 달성한다. 이는 오차와 설계가 유한한 모멘트를 가지는 경우에도 성립하며, 고차원 추론 기법의 적용 범위를 크게 넓힌다.

ABSTRACT

This paper introduces a simple principle for robust high-dimensional statistical inference via an appropriate shrinkage on the data. This widens the scope of high-dimensional techniques, reducing the moment conditions from sub-exponential or sub-Gaussian distributions to merely bounded second or fourth moment. As an illustration of this principle, we focus on robust estimation of the low-rank matrix $Θ^*$ from the trace regression model $Y=Tr (Θ^{*T}X) +ε$. It encompasses four popular problems: sparse linear models, compressed sensing, matrix completion and multi-task regression. We propose to apply penalized least-squares approach to appropriately truncated or shrunk data. Under only bounded $2+δ$ moment condition on the response, the proposed robust methodology yields an estimator that possesses the same statistical error rates as previous literature with sub-Gaussian errors. For sparse linear models and multi-tasking regression, we further allow the design to have only bounded fourth moment and obtain the same statistical rates, again, by appropriate shrinkage of the design matrix. As a byproduct, we give a robust covariance matrix estimator and establish its concentration inequality in terms of the spectral norm when the random samples have only bounded fourth moment. Extensive simulations have been carried out to support our theories.

연구 동기 및 목표

• 데이터가 중성 꼬리 분포를 보일 때 고차원 낮은 질서 행렬 복원을 위한 강력한 통계적 프레임워크를 개발하는 것.
• 고차원 추론에 필요한 모멘트 조건을 조건부 정규 또는 조건부 지수 분포에서 단지 둥근 두 번째 또는 네 번째 모멘트로 줄이는 것.
• 트레이스 회귀 모델의 범위를 중성 꼬리 노이즈와 낮은 모멘트 조건을 가진 설계 행렬을 포함하도록 확장하는 것.
• 약한 모멘트 조건 하에서 데이터 수축을 통해 최적의 통계적 오차율을 달성하는 통합적 접근법을 제공하는 것.
• 두 번째 또는 네 번째 모멘트가 유한한 조건 하에서 강력한 공분산 추정기법을 수립하여 스펙트럼 노름에서 높은 농도 성질을 확보하는 것.

제안 방법

• 응답 변수와 설계 변수에 대해 수축 또는 자르기 절차를 적용한 후 추정에 사용하기 전에 데이터를 처리하는 방법을 제안한다.
• 수축되거나 자른 데이터에 대해 페널티가 부과된 최소 제곱 회귀를 적용하여 낮은 질서 계수 행렬을 추정한다.
• 최적화 문제를 해결하기 위해 프리미벌-듀얼 스플리팅 알고리즘(예: 수축성 PRSM)에서 특이값 소프트-임계 처리를 사용한다.
• 중성 꼬리 분포 하에서 농도 성질을 향상시키는 수축 기반 표본 공분산 추정기법을 제안한다.
• 큰 이격을 줄이는 손실 함수를 도입하여 이상치와 중성 꼬리 분포에 대한 강건성을 향상시킨다.
• 이론적 오차 한계를 도출하여, 둥근 2+δ 또는 네 번째 모멘트 조건 하에서 조건부 정규 분포 방법과 동일한 통계적 속도를 달성함을 보여준다.

실험 결과

연구 질문

• RQ1 소수의 두 번째 모멘트만을 가진 경우에도 고차원 낮은 질서 행렬 복원이 중성 꼬리 노이즈에 대해 강력하게 유지될 수 있는가?
• RQ2 설계 행렬이 둥근 네 번째 모멘트만을 가지는 조건 하에서도 최적의 통계적 속도를 유지할 수 있는가?
• RQ3 데이터 수축이 낮은 모멘트 조건 하에서 트레이스 회귀 모델에서 최적의 오차율을 달성하는 데 기여하는가?
• RQ4 두 번째 또는 네 번째 모멘트가 유한한 조건 하에서 농도 성질을 유지하는 강력한 공분산 추정기법을 구성할 수 있는가?
• RQ5 중성 꼬리 노이즈 하에서 유한 표본에서 수축 기반 방법이 기존 방법보다 어떻게 비교되는가?

주요 결과

• 제안된 수축 방법은 노이즈가 둥근 2+δ 모멘트만을 가지는 경우에도 조건부 정규 분포 방법과 동일한 통계적 오차율을 달성한다.
• 희소 선형 모델과 다중 작업 회귀의 경우, 설계 행렬이 둥근 네 번째 모멘트만을 가지는 조건 하에서도 설계의 수축을 통해 최적의 속도를 유지한다.
• 수축 기반 공분산 추정기법은 표준 표본 공분산과 달리 둥근 네 번째 모멘트 조건 하에서 스펙트럼 노름에서 안정적인 농도 성질을 보인다.
• 시뮬레이션 결과, 로그정규 및 잘린 코시 노이즈 하에서 표준 방법보다 강력한 절차가 유의미하게 뛰어난 성능을 보이며, 가우시안 노이즈 하에서는 동일한 성능을 유지한다.
• 차원이 증가할수록 수축 추정기법이 통계적 오차를 더 효과적으로 줄이며, 특히 중성 꼬리 분포 하에서 그러한 효과가 두드러진다.
• 표본 크기와 차원이 변하더라도 일관된 성능을 유지하며, 중성 꼬리 분포 하에서도 오차의 안정성이 확보된다.