[논문 리뷰] Exact Matrix Completion via Convex Optimization

Emmanuel J. Candès, Benjamin Recht|ArXiv.org|2008. 05. 29.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 57

한 줄 요약

이 논문은 낮은 질서를 가진 행렬의 대부분이 랜덤하게 선택된 거의 최소 수의 요소들로부터 핵노름을 최소화하는 볼록 최적화 문제를 풀어 정확하게 복원할 수 있음을 입증한다. 핵심 결과는 행렬 차원 $ n $ 과 질서 $ r $ 에 대해 샘플링된 요소의 수가 $ C n^{1.2} r /\log n $ 를 초과할 경우, 높은 확률로 정확한 복원이 가능하다는 것이다.

ABSTRACT

We consider a problem of considerable practical interest: the recovery of a data matrix from a sampling of its entries. Suppose that we observe m entries selected uniformly at random from a matrix M. Can we complete the matrix and recover the entries that we have not seen? We show that one can perfectly recover most low-rank matrices from what appears to be an incomplete set of entries. We prove that if the number m of sampled entries obeys m >= C n^{1.2} r log n for some positive numerical constant C, then with very high probability, most n by n matrices of rank r can be perfectly recovered by solving a simple convex optimization program. This program finds the matrix with minimum nuclear norm that fits the data. The condition above assumes that the rank is not too large. However, if one replaces the 1.2 exponent with 1.25, then the result holds for all values of the rank. Similar results hold for arbitrary rectangular matrices as well. Our results are connected with the recent literature on compressed sensing, and show that objects other than signals and images can be perfectly reconstructed from very limited information.

연구 동기 및 목표

• 낮은 질서의 행렬을 그 요소들 중 소수의 균일한 랜덤 부분집합으로부터 복원하는 기본 문제를 다루기.
• 높은 확률로 정확한 복원을 보장하기 위해 필요한 최소 샘플링 요소 수를 규명하기.
• 핵노름 최소화가 원래 행렬을 신뢰성 있게 복원할 수 있는 조건을 설정하기.
• 압축 감지 이론을 행렬 복원으로 확장하여, 신호와 마찬가지로 행렬도 불완전한 정보로부터 재구성될 수 있음을 보여주기.
• 추천 시스템 및 센서 네트워크 위치 결정과 같은 실용적 상황에서의 행렬 완성에 대한 이론적 보장을 제공하기.

제안 방법

• 관측된 요소들에 맞추어 행렬의 핵노름을 최소화하는 볼록 최적화 프로그램을 제안하기.
• 핵노름과 스펙트럴 노름 간의 이중성 관계를 활용하여, 랜덤 행렬 이론을 통해 복원 보장을 도출하기.
• 비가환 히친체 부등식과 분리 기법을 사용하여 랜덤 행렬의 변형에 대한 연산자 노름을 근사하기.
• 라데마처 카오스 과정에 대한 농도 부등식을 적용하여 샘플링 연산자의 기대값에서의 편차를 통제하기.
• 낮은 질서의 행렬에 대해 샘플링 연산자가 높은 확률로 제한된 이소메트릭 성질(RIP)을 만족함을 증명하기.
• 핵노름과 스펙트럴 노름 간의 이중성을 활용하여, 볼록 프로그램의 해가 유일하고 원래 행렬과 동일함을 보여주기.

실험 결과

연구 질문

• RQ1 낮은 질서의 행렬이 볼록 최적화 방법을 통해 소수의 랜덤 부분집합 요소들로부터 정확하게 복원될 수 있는가?
• RQ2 질서가 $ r $ 인 행렬을 높은 확률로 정확히 복원하기 위해 필요한 최소 샘플링 요소 수는 얼마인가?
• RQ3 핵노름 최소화가 행렬 완성에서 질서 최소화의 신뢰할 수 있는 볼록 대체물로 기능하는가?
• RQ4 샘플링 메커니즘(균일한 랜덤)이 복원 성능과 이론적 보장에 어떤 영향을 미치는가?
• RQ5 압축 감지 이론은 신호 및 영상 복원을 넘어서 행렬 복원 문제로 확장될 수 있는가?

주요 결과

• 어떤 절대 상수 $ C $ 에 대해, $ m /geq C n^{1.2} r /\log n $ 를 만족하는 경우, 대부분의 $ n \times n $ 질서 $ r $ 행렬은 높은 확률로 정확하게 복원 가능하다.
• 샘플링이 균일하고 요소 수가 위의 임계값을 충족할 경우, 핵노름 최소화 프로그램은 원래 행렬을 정확히 복원한다.
• 지수 $ 1.2 $ 를 $ 1.25 $ 로 대체할 경우, 모든 질서에 대해 복원 보장이 유지되어 임의의 질서 값으로 결과가 확장된다.
• 이 방법은 노이즈에 강건하며, 정사각형 행렬 뿐 아니라 직사각형 행렬에도 적용 가능하다.
• 이론적 프레임워크는 행렬 완성과 압축 감지 이론을 연결하여, 낮은 질서의 행렬이 희박한 신호와 마찬가지로 불완전한 데이터로부터 재구성될 수 있음을 보여준다.
• 분석은 측도 집중과 비가환 히친체 부등식, 분리 기법을 통한 연산자 노름 근사에 기반한다.