[논문 리뷰] Robust Low-Rank Matrix Recovery

Jianqing Fan, Weichen Wang외 1명|arXiv (Cornell University)|2016. 03. 28.

Sparse and Compressive Sensing Techniques참고 문헌 15인용 수 5

한 줄 요약

이 논문은 중도에 치우친 잡음 하에서 낮은 질서의 행렬 복원을 위해 제곱 손실 대신 잘라내거나 수축시킨 강건한 손실로 대체하는 강건한 페널티 추적 회귀 방법을 제안한다. 잡음의 2+δ moment가 유한함만 보장되도, 이전의 서브-가우시안 오차 하에서의 결과와 동일한 최적 수렴 속도를 달성하며, 명시적인 수렴 속도와 새로운 강건한 공분산 추정량이 부산물로 유도된다.

ABSTRACT

This paper focuses on robust estimation of the low-rank matrix $\Theta^*$ from the trace regression model $Y= ext{Tr} (\Theta^{*T} X) +\epsilon$. It encompasses four popular problems: sparse linear models, compressive sensing, matrix completion and multi-task regression as its specific examples. Instead of optimizing penalized least-squares, our robust penalized least-squares approach is to replace the quadratic loss by its robust version, which is obtained by the appropriate truncations or shrinkage of the data and hence is very easy to implement. Under only bounded $2+\delta$ moment condition on the noise, we show that the proposed robust penalized trace regression yields an estimator that possesses the same rates as those presented in Negahban and Wainwright (2011, 2012a) with sub-Gaussian error assumption. The rates of convergence are explicitly derived. As a byproduct, we also give a robust covariance matrix estimator called the shrinkage sample covariance and establish its concentration inequality in terms of the spectral norm when the random sample has only bounded fourth moment.

연구 동기 및 목표

• 서브-가우시안 尾를 가지지 않고 유한한 모멘트만 보장되는 잡음 분포에서 낮은 질서의 행렬 복원 문제를 해결하기 위해.
• 추적 회귀 모델에서 낮은 질서의 행렬을 추정하기 위한 계산적으로 단순하면서도 통계적으로 강건한 방법을 개발하기 위해.
• 실제 데이터에서 중도에 치우친 또는 오염된 오차가 존재할 경우에도 낮은 질서의 복원 가능성을 확장하기 위해.
• 최소한의 모멘트 가정 하에서 제안된 강건한 추정량의 명시적 수렴 속도를 도출하기 위해.
• 강건한 수축 기반 표본 공분산 추정량을 제안하고, 유한한 네 번째 모멘트 조건 하에서 그 농도 부등식을 수립하기 위해.

제안 방법

• 표준 제곱 손실을 데이터 잘라내기 또는 수축을 통해 강건한 버전으로 대체하여 중도에 치우친 오차에 대한 민감도를 감소시킨다.
• 강건한 손실 함수를 사용하는 페널티 최적화 프레임워크를 적용하여 관측된 추적 회귀 데이터로부터 낮은 질서의 행렬 $\theta^*$ 를 추정한다.
• 이상치와 중도에 치우친 잡음을 통제하기 위해 반응 변수 $Y$ 의 잘라내기 또는 수축을 시행한다.
• 잡음의 유한한 $2+\delta$ 모멘트 조건 하에서 이론적 수렴 속도를 도출하며, 서브-가우시안 尾를 요구하지 않는다.
• 중도에 치우친 분포에 강건한 수축 기반 표본 공분산 추정량을 제안한다.
• 유한한 네 번째 모멘트 조건 하에서 강건한 공분산 추정량의 스펙트럼 노름 농도 부등식을 수립한다.

실험 결과

연구 질문

• RQ1 서브-가우시안 오차 분포를 가정하지 않고도 중도에 치우친 잡음에 대해 낮은 질서의 행렬 복원을 강건하게 수행할 수 있는가?
• RQ2 잡음의 유한한 $2+\delta$ 모멘트 조건만을 만족할 때, 강건한 낮은 질서 추정량의 최적 수렴 속도는 무엇인가?
• RQ3 제안된 강건한 손실 함수는 표준 최소제곱법에 비해 통계적 효율성과 강건성 측면에서 어떻게 비교되는가?
• RQ4 유한한 네 번째 모멘트 조건 하에서도 농도 성질을 유지하는 강건한 공분산 추정량을 구성할 수 있는가?
• RQ5 약한 모멘트 가정 조건 하에서, 강건한 추적 회귀 추정량은 이전의 서브-가우시안 결과와 동일한 수렴 속도를 달성하는가?

주요 결과

• 제안된 강건한 페널티 추적 회귀 추정량은 잡음의 유한한 $2+\delta$ 모멘트 조건만을 만족하더라도, Negahban과 Wainwright (2011, 2012a)의 결과와 동일한 최적 수렴 속도를 달성한다.
• 수렴 속도는 명시적으로 도출되었으며, 주어진 모멘트 가정 하에서 최적이 됨을 입증하였다.
• 자료의 잘라내기 또는 수축 기반 강건한 손실 함수는 중도에 치우친 오차가 존재하는 환경에서도 안정적이고 효율적인 추정을 가능하게 한다.
• 새로운 강건한 공분산 추정량—수축 표본 공분산—이 제안되었으며, 유한한 네 번째 모멘트 조건 하에서 스펙트럼 노름에서 농도를 보임을 입증하였다.
• 최소한의 모멘트 가정 조건 하에서 강건한 공분산 추정량의 농도 부등식이 수립되었으며, 고전적 결과를 중도에 치우친 설정으로 확장하였다.
• 이 방법은 계산적으로 단순하며 쉽게 구현 가능하므로, 압축 측정, 행렬 완성, 다중 작업 회귀와 같은 실용적 응용에 적합하다.