[논문 리뷰] Noisy Matrix Completion: Understanding Statistical Guarantees for Convex Relaxation via Nonconvex Optimization

Yuxin Chen, Yuejie Chi외 3명|arXiv (Cornell University)|2019. 02. 20.

Sparse and Compressive Sensing Techniques참고 문헌 94인용 수 21

한 줄 요약

이 논문은 랭크와 조건수의 경계 조건 하에서, 볼록 리 랭크 행렬 복원 문제에 대해 노이즈 있는 관측 하에서 근사 최적의 통계적 보장을 수립한다. 비볼록 최적화와 볼록 최적화를 연결함으로써, 핵 노름 최소화가 프로베니우스, 엔트리별, 스펙트럴 노름에서 근사 최소최대 최적 오차를 달성함을 증명한다. 이는 근사 비볼록 임계점의 안정성에 기반하여 비볼록 최적화의 이론적 보장을 볼록 형식으로 이전하는 데 기반한다.

ABSTRACT

This paper studies noisy low-rank matrix completion: given partial and noisy entries of a large low-rank matrix, the goal is to estimate the underlying matrix faithfully and efficiently. Arguably one of the most popular paradigms to tackle this problem is convex relaxation, which achieves remarkable efficacy in practice. However, the theoretical support of this approach is still far from optimal in the noisy setting, falling short of explaining its empirical success. We make progress towards demystifying the practical efficacy of convex relaxation vis-à-vis random noise. When the rank and the condition number of the unknown matrix are bounded by a constant, we demonstrate that the convex programming approach achieves near-optimal estimation errors --- in terms of the Euclidean loss, the entrywise loss, and the spectral norm loss --- for a wide range of noise levels. All of this is enabled by bridging convex relaxation with the nonconvex Burer-Monteiro approach, a seemingly distinct algorithmic paradigm that is provably robust against noise. More specifically, we show that an approximate critical point of the nonconvex formulation serves as an extremely tight approximation of the convex solution, thus allowing us to transfer the desired statistical guarantees of the nonconvex approach to its convex counterpart.

연구 동기 및 목표

• 볼록 리 랭크 행렬 복원에서 이론적 지원이 약한데도 불구하고 왜 볼록 리 랭크 행렬 복원이 강력한 경험적 성능을 보이는지 이해하기 위해.
• 노이즈 하에서 핵 노름 최소화의 경험적 성공과 이론적 이해 간 격차를 메우기 위해.
• 프로베니우스, 엔트리별, 스펙트럴 노름 기준으로 볼록 리 랭크 행렬 복원의 근사 최적 추정 오차 경계를 수립하기 위해.
• 근사 비볼록 임계점이 볼록 해를 밀도 있게 근사함을 보여주어 통계적 보장을 이전할 수 있음을 입증하기 위해.
• 비볼록 최적화의 강건성과 볼록 리 랭크 행렬 복원의 강건성 간의 유사성을 보여줌으로써 볼록 및 비볼록 접근법의 분석을 통합하기 위해.

제안 방법

• 저자들은 볼록 핵 노름 최소화 문제를 분석하기 위해 Burer–Monteiro 비볼록 형식을 대체로 사용한다.
• 일정 조건 하에서 볼록 및 비볼록 형식 간 정확한 이중성을 수립한다.
• 경사 하강법을 통해 근사 비볼록 최적화자를 구성하고, 이가 볼록 해에 가까이 유지됨을 증명한다.
• 특이값 편향 이론을 활용하여 비볼록 반복값과 진짜 저랭크 행렬 간의 거리 분석을 통해 오차 경계를 유도한다.
• 행렬 부호 함수와 행렬 노름 부등식을 사용하여 볼록 및 비볼록 해 간의 차이를 제어한다.
• 근사 비볼록 임계점이 볼록 해를 밀도 있게 근사함을 보여줌으로써 볼록 해가 비볼록 접근법의 안정성을 상속함을 증명한다.

실험 결과

연구 질문

• RQ1 왜 이론적 보장이 열악한 데도 불구하고 볼록 리 랭크 행렬 복원이 노이즈 있는 행렬 복원에서 강력한 경험적 성능을 보이는가?
• RQ2 비볼록 최적화 방법의 강건성을 활용하여 볼록 리 랭크 행렬 복원의 더 강력한 이론적 보장을 확보할 수 있는가?
• RQ3 어떤 조건에서 볼록 리 랭크 행렬 복원이 노이즈 있는 행렬 복원에서 근사 최소최대 최적 오차를 달성하는가?
• RQ4 기저 행렬의 랭크와 조건수가 유한할 경우, 볼록 및 비볼록 형식의 해는 얼마나 가까운가?
• RQ5 근사 비볼록 임계점은 볼록 해를 밀도 있는 대체로 사용할 수 있으며, 이를 통해 통계적 보장을 이전할 수 있는가?

주요 결과

• 진짜 행렬의 랭크와 조건수가 상수로 경계될 경우, 핵 노름 최소화는 프로베니우스 노름에서 근사 최적 추정 오차를 달성한다.
• 엔트리별 노름에서도 근사 최적 오차를 달성하며, 적절한 노이즈 수준 하에서 오차가 $ O(\sqrt{\log n}/\sqrt{n}) $ 스케일링을 따른다.
• 스펙트럴 노름 오차 역시 근사 최적이며, 경계가 $ O(\sqrt{\log n}/\sqrt{n}) $ 로 스케일링되며, 로그 인자 외에는 최소최대 하한선과 일치한다.
• 근사 비볼록 임계점이 볼록 해로부터 $ O(\|E\|_F) $ 이내에 있음을 입증하여 안정성 보장을 이전할 수 있다.
• 분석을 통해 볼록 해가 비볼록 접근법의 강건성을 상속함을 확인하였으며, 이는 경험적 성공을 설명한다.
• 이 결과는 서브가우시안 및 유한한 노이즈를 포함한 다양한 노이즈 수준에서 성립하며, 랜덤 샘플링 하에서의 행렬 요소 선택 조건 하에서도 유효하다.