[논문 리뷰] Matrix Completion With Noise

Emmanuel J. Candès, Yaniv Plan|ArXiv.org|2009. 03. 18.

Sparse and Compressive Sensing Techniques참고 문헌 21인용 수 58

한 줄 요약

이 논문은 노이즈가 있는 조건 하에서 행렬 완성의 이론적 보장을 수립하며, 핵노름 최소화가 거의 최소한의 노이즈가 있는 요소들로부터 저질서수 행렬을 정확하게 복원할 수 있음을 보여준다. 약 $ nr\log^2 n $개의 노이즈가 있는 샘플이 있을 경우, 복원 오차는 노이즈 수준에 비례함을 증명한다. 이는 요소들이 작은 노이즈에 의해 손상되어도 성립한다.

ABSTRACT

On the heels of compressed sensing, a remarkable new field has very recently emerged. This field addresses a broad range of problems of significant practical interest, namely, the recovery of a data matrix from what appears to be incomplete, and perhaps even corrupted, information. In its simplest form, the problem is to recover a matrix from a small sample of its entries, and comes up in many areas of science and engineering including collaborative filtering, machine learning, control, remote sensing, and computer vision to name a few. This paper surveys the novel literature on matrix completion, which shows that under some suitable conditions, one can recover an unknown low-rank matrix from a nearly minimal set of entries by solving a simple convex optimization problem, namely, nuclear-norm minimization subject to data constraints. Further, this paper introduces novel results showing that matrix completion is provably accurate even when the few observed entries are corrupted with a small amount of noise. A typical result is that one can recover an unknown n x n matrix of low rank r from just about nr log^2 n noisy samples with an error which is proportional to the noise level. We present numerical results which complement our quantitative analysis and show that, in practice, nuclear norm minimization accurately fills in the many missing entries of large low-rank matrices from just a few noisy samples. Some analogies between matrix completion and compressed sensing are discussed throughout.

연구 동기 및 목표

• 낮은 질서수 행렬이 거의 최소한의 노이즈가 있는 요소들로부터 정확하게 복원될 수 있는 이론적 조건을 확립하기 위해.
• 실제 관측치가 손상된 현실적인 상황을 다룰 수 있도록 노이즈가 없는 경우를 초월해 행렬 완성 이론을 확장하기 위해.
• 낮은 질서수 행렬 복원에서 샘플링 비율, 노이즈 수준, 복원 정확도 사이의 상호관계를 정량화하기 위해.
• 데이터가 불완전하고 노이즈가 있는 실용적 응용 분야(예: 협업 필터링 및 시스템 식별)를 위한 이론적 기초를 제공하기 위해.
• 압축 감지 이론과의 유사성을 도출하고, 노이즈가 있는 조건 하에서 이 원칙을 행렬 완성 설정으로 확장하기 위해.

제안 방법

• 불완전하고 노이즈가 있는 데이터로부터 저질서수 행렬을 복원하기 위한 주요 최적화 프레임워크로 핵노름 최소화를 제안한다.
• NP-난이도 문제인 질서수 최소화 문제를 근사하기 위해 핵노름을 통한 볼록 근사화를 사용한다.
• 랜덤 샘플링 하에서 오차 한계를 유도하기 위해 랜덤 행렬 이론과 최적화의 이중성 도구를 적용한다.
• 관측된 요소들이 하위가우시안 노이즈를 가진 분산 $\sigma^2$로 손상된 것으로 가정하는 노이즈 인식 복원 모델을 도입한다.
• 노이즈 수준과 저질서수 행렬의 자유도를 기반으로 복원 오차를 제한하는 오рак루 불등식을 유도한다.
• 복원 성능을 분석하고 고확률 오차 한계를 확립하기 위해 라그랑주 이중 접근법을 활용한다.

실험 결과

연구 질문

• RQ1 볼록 최적화를 통해 거의 최소한의 노이즈가 있는 요소들로부터 저질서수 행렬을 정확하게 복원할 수 있는가?
• RQ2 행렬 완성에서 샘플링된 요소의 수, 노이즈 수준, 재구성 오차 사이의 기본적인 상호관계는 무엇인가?
• RQ3 핵노름 최소화의 성능은 진짜 저질서수 부분공간을 알고 있는 이상적인 오라클과 비교해 어떻게 되는가?
• RQ4 압축 감지 이론의 원리는 노이즈가 있는 조건 하에서 행렬 완성에 얼마나 확장될 수 있는가?
• RQ5 요소들이 노이즈에 의해 손상되었을 때, 저질서수 행렬의 안정적 복원을 보장하기 위해 필요한 최소 샘플링 비율은 얼마인가?

주요 결과

• 노이즈가 있는 행렬 완성은 증명 가능하게 정확하다: 질서수 $ r $인 $ n \times n $ 행렬은 약 $ nr\log^2 n $개의 노이즈가 있는 샘플로부터 복원 가능하며, 오차는 노이즈 수준에 비례한다.
• 높은 확률로 복원 오차는 $ C \sigma \sqrt{\text{df}/m} $ 이하로 제한되며, 여기서 $ \text{df} = r(2n - r) $, $ m $은 관측된 요소의 수, $ \sigma $는 노이즈 표준편차이다.
• 수치 실험 결과 실제 복원 오차는 $ 1.68 \times \sqrt{\text{df}/m} $로 잘 근사되며, $ 2.25 \times \sqrt{\text{df}/m} $를 초과하지 않는다.
• 실제 온도 행렬 $ 366 \times 1472 $에 대한 실험에서, 30% 샘플링 비율로 상대 프로베니우스 오차가 $ 16.6\%$를 기록했으며, 진짜 행렬에 대한 오차 측면에서 최고의 질서수 2 근사보다 뛰어난 성능을 보였다.
• 이론적 오차 한계는 수치 결과와 매우 유사하게 일치하며, 샘플 수와 행렬 크기가 증가할수록 더욱 정확해진다.
• 제안된 방법은 진짜로 질서수 2 부분공간을 알고 있는 오라클 오차에 매우 가까운 성능을 보이며, 실질적으로 약 1.68의 곱계수를 갖는다.