[논문 리뷰] Restricted strong convexity and weighted matrix completion: Optimal bounds with noise

Sahand Negahban, Martin J. Wainwright|arXiv (Cornell University)|2010. 09. 10.

Sparse and Compressive Sensing Techniques참고 문헌 36인용 수 434

한 줄 요약

이 논문은 노이즈가 있는 샘플링 하에서 가중치가 부여된 행렬 복원 문제에 대해 제한된 강력한 볼록성(RSC)을 설정하며, 가중치가 부여된 프로베니우스 노름에서 비점근적 오차 한계를 증명한다. 데이터 적합성과 가중치가 부여된 노름핵 노름을 조합한 M-추정량을 도입하여, 이전 연구에 비해 완화된 스피키니스 및 낮은 질서 조건 하에서도 최적의 복원 속도를 달성한다.

ABSTRACT

We consider the matrix completion problem under a form of row/column weighted entrywise sampling, including the case of uniform entrywise sampling as a special case. We analyze the associated random observation operator, and prove that with high probability, it satisfies a form of restricted strong convexity with respect to weighted Frobenius norm. Using this property, we obtain as corollaries a number of error bounds on matrix completion in the weighted Frobenius norm under noisy sampling and for both exact and near low-rank matrices. Our results are based on measures of the "spikiness" and "low-rankness" of matrices that are less restrictive than the incoherence conditions imposed in previous work. Our technique involves an $M$-estimator that includes controls on both the rank and spikiness of the solution, and we establish non-asymptotic error bounds in weighted Frobenius norm for recovering matrices lying with $\ell_q$-"balls" of bounded spikiness. Using information-theoretic methods, we show that no algorithm can achieve better estimates (up to a logarithmic factor) over these same sets, showing that our conditions on matrices and associated rates are essentially optimal.

연구 동기 및 목표

• 가중치가 부여되고 노이즈가 있는 샘플링 하에서 행렬 복원 문제에 대해 제한된 강력한 볼록성(RSC) 조건을 설정하기.
• 노이즈가 있는 상황에서 낮은 질서 행렬 복원에 대해 가중치가 부여된 프로베니우스 노름에서 비점근적 오차 한계를 유도하기.
• 이전 연구에서 사용된 비일관성 조건을 완화하기 위해 행렬의 스피키니스와 낮은 질서성에 대한 측정법을 도입하기.
• 정보 이론적 하한을 이용해, 제안된 방법이 로그 인자까지 최소 최대 최적 속도를 달성함을 보여주기.
• 균일 및 비균일 샘플링에 대한 결과를 통합하고 일반화하며, 재가중치가 부여된 노름핵 노름 정규화를 포함하기.

제안 방법

• 가중치가 부여된 프로베니우스 노름을 정의하고, 유한한 $\ell_q$-스피키니스와 낮은 질서 성질을 갖는 행렬 클래스 $\mathfrak{C}$를 정의한다.
• 데이터 적합성 항과 가중치가 부여된 노름핵 노름 정규화 항을 조합한 M-추정량을 제안하여 질서와 스피키니스를 제어한다.
• 무작위 관측 연산자가 행렬 클래스 $\mathfrak{C}$ 위에서 고확률로 제한된 강력한 볼록성(RSC)을 만족함을 증명한다.
• 아흐스베이드-윈터 부등식을 포함한 행렬 농도 불등식을 사용하여 노이즈 항의 연산자 노름을 제어한다.
• 사슬화 추론과 대칭화를 사용하여 라데처르 카오스 과정의 기대 최대값을 경계한다.
• RSC와 정규화 항의 분해 가능성에 기반하여 비점근적 오차 한계를 도출하며, 이로 인해 최적의 속도를 얻는다.

실험 결과

연구 질문

• RQ1 가중치가 부여된 행렬 복원 문제에 대한 무작위 관측 연산자가 고확률로 제한된 강력한 볼록성을 만족하는가?
• RQ2 노이즈가 있고 약간의 낮은 질서 성질을 갖는 행렬에 대해 가중치가 부여된 프로베니우스 노름에서 비점근적 오차 한계를 도출할 수 있는가?
• RQ3 이전 연구에서 사용된 비일관성 조건보다 스피키니스와 낮은 질서성 조건이 더 덜 제약적인가?
• RQ4 제안된 방법이 노이즈가 있는 샘플링 하에서 최소 최대 최적 속도를 달성할 수 있는가?
• RQ5 비균일 샘플링 환경에서 재가중치가 부여된 노름핵 노름 추정량의 성능은 표준 노름핵 노름과 어떻게 비교되는가?

주요 결과

• 무작위 관측 연산자가 행렬 클래스 $\mathfrak{C}$ 위에서 고확률로 제한된 강력한 볼록성(RSC)을 만족하여 날카운 오차 한계를 가능하게 한다.
• 제안된 M-추정량은 노이즈 하에서 가중치가 부여된 프로베니우스 노름에서 오차 한계가 $\mathcal{O}\big(\sqrt{\frac{d \log d}{n}}\big)$ 순서로 달성된다.
• 정보 이론적 하한을 통해 로그 인자까지 최적의 속도를 달성함이 확인되었으며, 이는 최적성의 증거가 된다.
• 분석 과정에서 $\ell_q$-스피키니스와 낮은 질서성 측정법을 사용함으로써 비일관성 가정을 완화할 수 있었다.
• 오차 한계는 균일 및 비균일 샘플링 모두에 대해 성립하며, 재가중치가 부여된 노름핵 노름 정규화는 특수한 경우로 포함된다.
• 노이즈 항의 기대 연산자 노름에 대한 경계는 $\mathbb{E}[\|\frac{1}{n}\sum \varepsilon_i \widetilde{X}^{(i)}\|_2] \leq 10 \max\big\{\sqrt{\frac{L d \log d}{n}}, \frac{L d \log d}{n}\big\}$ 로 주어지며, 이는 최종 오차 속도 유도에 사용된다.