[논문 리뷰] Estimation of (near) low-rank matrices with noise and high-dimensional scaling

Sahand Negahban, Martin J. Wainwright|ArXiv.org|2009. 12. 27.

Sparse and Compressive Sensing Techniques참고 문헌 54인용 수 44

한 줄 요약

이 논문은 고차원 스케일링과 노이즈 있는 관측치 하에서 (근사적으로) 저질서 행렬을 추정하기 위해 핵노름 정규화 M-추정법을 제안한다. 관측 연산자의 제한된 강凸성과 스펙트럼 노름에 비례하는 정규화 파rameter에 의존하는 비점근적 프로베니우스 노름 오차 경계를 수립하며, 행렬의 질서가 표본 크기 및 차원에 비해 작을 경우 일致된 복원을 달성한다.

ABSTRACT

High-dimensional inference refers to problems of statistical estimation in which the ambient dimension of the data may be comparable to or possibly even larger than the sample size. We study an instance of high-dimensional inference in which the goal is to estimate a matrix $Θ^* \in eal^{k imes p}$ on the basis of $N$ noisy observations, and the unknown matrix $Θ^*$ is assumed to be either exactly low rank, or ``near'' low-rank, meaning that it can be well-approximated by a matrix with low rank. We consider an $M$-estimator based on regularization by the trace or nuclear norm over matrices, and analyze its performance under high-dimensional scaling. We provide non-asymptotic bounds on the Frobenius norm error that hold for a general class of noisy observation models, and then illustrate their consequences for a number of specific matrix models, including low-rank multivariate or multi-task regression, system identification in vector autoregressive processes, and recovery of low-rank matrices from random projections. Simulation results show excellent agreement with the high-dimensional scaling of the error predicted by our theory.

연구 동기 및 목표

• 환경 차원이 표본 크기와 유사하거나 그보다 큰 고차원 행렬 추정 문제를 다루기 위해.
• 정확히 또는 근사적으로 저질서인 행렬을 복원하기 위해 핵노름 정규화의 성능을 분석하기 위해.
• 일반적인 노이즈 있는 관측 모델 하에서 프로베니우스 노름의 비점근적 오차 경계를 유도하기 위해.
• 특히 제한된 강凸성에 의해, 고차원 설정에서 일致된 복원이 가능한 조건을 설정하기 위해.
• 관측 연산자의 스펙트럼 노름에 따라 정규화 파rameter 선택에 대한 이론적 기초를 제공하기 위해.

제안 방법

• 알려지지 않은 행렬 $\Theta^*$ 를 $N$개의 노이즈 있는 관측치로 매핑하는 선형 연산자 $\mathfrak{X}$ 를 사용한 일반적인 관측 모델을 설정한다.
• 저질서 행렬의 구조를 촉진하기 위해 핵노름(특이값의 합)으로 정규화된 M-추정법을 제안한다.
• 관측 연산자 $\mathfrak{X}$ 의 제한된 강凸성(RSC) 성질을 분석하여 비점근적 오차 경계를 수립한다.
• 가우시안 농도 부등식과 난수 행렬 이론을 사용하여 추정법의 오차에 대한 고확률 경계를 유도한다.
• 편향과 분산 사이의 최적의 트레이드오프를 보장하기 위해, 노이즈 연산자의 스펙트럼 노름에 비례하는 데이터 기반 정규화 파aram터를 유도한다.
• 일반 이론을 다변량 회귀, 벡터 자기상관 과정, 그리고 랜덤 프로젝션 기반 행렬 복원과 같은 구체적 모델에 적용한다.

실험 결과

연구 질문

• RQ1 어떤 조건에서 노이즈가 있는 고차원 관측치로부터 저질서 행렬을 일관되게 추정할 수 있는가?
• RQ2 표본 수 $N$ 과 $\min\{k,p\}$ 이 모두 증가하는 비점근적 설정에서 핵노름 정규화는 어떻게 작동하는가?
• RQ3 관측 연산자의 스펙트럼 노름에 따라 정규화 파aram터의 최적 선택은 무엇인가?
• RQ4 제한된 강凸성(RSC) 조건은 고차원 행렬 추정에서 오차 경계에 어떻게 영향을 미치는가?
• RQ5 이론적 오차 경계가 시뮬레이션 연구에서의 실증 성능와 얼마나 잘 일치하는가?

주요 결과

• 핵노름 정규화 추정법의 프로베니우스 노름 오차는 랭크 $r$ 과 행렬 차원 $k,p$ 에 비례하는 $\sqrt{r(k+p)/N}$ 에 비례하는 항에 의해 고확률적으로 경계된다.
• 오차 경계는 관측 연산자 $\mathfrak{X}$ 의 제한된 강凸성(RSC) 상수에 의존하며, 이는 일관된 복원을 위한 충분한 곡률를 보장한다.
• 정규화 파aram터는 노이즈 연산자의 스펙트럼 노름에 비례하도록 설정되어야 하며, 이는 추정 편향과 분산 사이의 최적 균형을 보장한다.
• 랜덤 프로젝션 모델의 경우 이론은 시뮬레이션 결과와 일치하는 오차 스케일링을 예측하며, 고차원 스케일링 행동을 확인한다.
• 유도된 경계는 정확히 저질서 행렬과 근사적으로 저질서 행렬 모두에 대해 유효하며, 후자의 경우 근사 오차와 관련된 내성 허용 오차가 필요하다.
• 분석은 핵노름이 질서 최소화를 위한 볼록 대체함수로 작용하며, 고차원 스케일링 하에서 일관된 복원을 가능하게 함을 확인한다.