[논문 리뷰] A Scalable Second Order Method for Ill-Conditioned Matrix Completion from Few Samples

Christian Kümmerle, Claudio Mayrink Verdun|arXiv (Cornell University)|2021. 06. 03.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 조건 수가 $10^{10}$에 이르는 매우 악조건인 저질서 행렬을 소수의 샘플에서 복원할 수 있는 확장 가능한 이阶 최적화 방법인 MatrixIRLS를 제안한다. 이 방법은 국소적으로 이차 수렴 속도를 달성하고, 조건 수가 매우 큰 행렬일지라도 선형 시스템이 잘 조절되어 있음을 보장한다. 비볼록 질서 근사 함수와 함께 반복 가중 최소제곱법을 결합함으로써, 최소한의 샘플링 조건 하에서도 높은 데이터 효율성과 확장성을 확보한다. 이는 이론적으로도 최소한의 샘플링 조건 하에서 보장된다.

ABSTRACT

We propose an iterative algorithm for low-rank matrix completion that can be interpreted as an iteratively reweighted least squares (IRLS) algorithm, a saddle-escaping smoothing Newton method or a variable metric proximal gradient method applied to a non-convex rank surrogate. It combines the favorable data-efficiency of previous IRLS approaches with an improved scalability by several orders of magnitude. We establish the first local convergence guarantee from a minimal number of samples for that class of algorithms, showing that the method attains a local quadratic convergence rate. Furthermore, we show that the linear systems to be solved are well-conditioned even for very ill-conditioned ground truth matrices. We provide extensive experiments, indicating that unlike many state-of-the-art approaches, our method is able to complete very ill-conditioned matrices with a condition number of up to $10^{10}$ from few samples, while being competitive in its scalability.

연구 동기 및 목표

• 조건 수가 $10^{10}$에 이르는 매우 악조건인 저질서 행렬을 최소한의 샘플에서 복원하는 문제에 대응한다.
• 볼록 핵심 노름 최소화 및 기존의 비볼록 방법에서 발생하는 확장성과 데이터 효율성의 한계를 극복한다.
• 기본 행렬이 심각하게 악조건이더라도 선형 시스템의 좋은 조건수를 유지하는 이阶 최적화 방법을 개발한다.
• 조건 수에 관계없이 최소한의 샘플링 조건 하에서 국소 수렴 속도가 이차 수렴인 이론적 보장을 확립한다.
• 악조건 문제에서 최신 기술 대비 복원 정확도와 계산 효율성 측면에서 뛰어난 확장 가능한 알고리즘을 제공한다.

제안 방법

• MatrixIRLS는 비볼록 질서 근사 함수에 대해 반복 가중 최소제곱법을 적용한 알고리즘으로, 이阶 최적화를 가능하게 한다.
• 비연속성과 비볼록성을 다루기 위해 가변 메트릭 프록시멀 그라디언트 방법과 스무딩 뉴턴 단계를 사용한다.
• 각 반복 단계에서 헤시안 유사 업데이트를 적용한 정규화된 최소제곱 보조 문제를 풀며, 이는 악조건인 기저 행렬일지라도 잘 조절된 선형 시스템을 보장한다.
• 매트릭스 차원 $D$에 대해 반복 단계 복잡도가 부분 제곱 이하로 유지되어 대규모 문제에 대한 확장성을 확보한다.
• 고정밀 내부 해법이 필요 없이 정규화된 블록 크릴로프 방법을 사용하여 선형 시스템을 정확하게 해결한다.
• 이 방법은 안장점 회피 스무딩 뉴턴 방법으로 해석되며, 유리한 샘플링 조건 하에서 국소 최소값으로 수렴 가능하다.

실험 결과

연구 질문

• RQ1 최소한의 샘플링 조건 하에서 조건 수에 관계없이 이阶 최적화 방법이 저질서 행렬 복원 문제에서 국소적으로 이차 수렴 속도를 달성할 수 있는가?
• RQ2 기본 행렬이 극도로 악조건일 경우(예: $\kappa = 10^{10}$) 행렬 복원 과정에서 발생하는 선형 시스템이 여전히 잘 조절되어 있는가?
• RQ3 제안된 방법이 볼록 완화 기법보다 더 적은 샘플을 요구하면서도 확장성은 유지하는가?
• RQ4 악조건 행렬에서 전체 특이값 스펙트럼, 특히 가장 작은 특이값을 얼마나 정밀하게 복원하는가?
• RQ5 악조건 행렬 복원 과제에서 최신 기술인 리만 기반 및 일阶 방법보다 정확도와 확장성 측면에서 뛰어나게 성능을 발휘하는가?

주요 결과

• MatrixIRLS는 $m = \Omega(\mu_0 r D \log D)$개의 샘플 조건 하에서 국소적으로 이차 수렴 속도를 달성하며, 샘플링 복잡도가 조건 수 $\kappa$에 독립적이다. 이는 균일한 랜덤 샘플링 하에서 최적이다.
• 기본 행렬의 조건 수가 $10^{10}$에 이르는 경우에도 각 반복 단계에서 풀리는 선형 시스템이 여전히 잘 조절되어 있어 안정적이고 빠른 수렴을 가능하게 한다.
• 가장 작은 특이값을 상대 오차 $10^{-7}$에서 $10^{-3}$ 사이로 정밀하게 복원하며, 내부 해법의 정밀도가 중간 수준($10^{-3}$)임에도 불구하고 스펙트럼 복원 정밀도가 매우 높음을 보여준다.
• ScaledGD, NIHT, R3MC, LRGeomCG와 비교해 소수의 샘플에서 악조건 행렬을 복원하는 데서 MatrixIRLS가 뛰어난 성능을 보이며, 전체 특이값 스펙트럼을 잘 유지한다.
• 반복 단계 복잡도가 부분 제곱 이하로 유지되어 대규모 행렬 복원에 효율적이다.
• 실험 결과에 따르면, MatrixIRLS, R3MC w/ Rank Upd, LRGeomCG Pursuit는 어려운 행렬 복원 문제에 효과적인 대안을 제공하며, 향후 이론적 분석이 필요하다.