[논문 리뷰] Escaping Saddle Points in Ill-Conditioned Matrix Completion with a Scalable Second Order Method

Christian Kümmerle, Claudio Mayrink Verdun|arXiv (Cornell University)|2020. 09. 07.

Sparse and Compressive Sensing Techniques참고 문헌 42인용 수 6

한 줄 요약

이 논문은 반복적으로 가중 최소 제곱법(IRLS)과 매끄러운 로그 행렬식 랭크 서로서를 조합한 확장 가능한 두 번째 차수 방법인 MatrixIRLS를 제안한다. 이 방법은 안장점에서 벗어나 국소적으로 2차 수렴을 달성하며, 거의 최적의 표본 효율성을 확보한다. 매우 불안정한 행렬(조건수 최대 10^10)을 소수의 표본으로도 정확하게 복원할 수 있으며, 최신의 일阶 방법보다 정확도와 강건성 면에서 뛰어나다.

ABSTRACT

We propose an iterative algorithm for low-rank matrix completion that can be interpreted as both an iteratively reweighted least squares (IRLS) algorithm and a saddle-escaping smoothing Newton method applied to a non-convex rank surrogate objective. It combines the favorable data efficiency of previous IRLS approaches with an improved scalability by several orders of magnitude. Our method attains a local quadratic convergence rate already for a number of samples that is close to the information theoretical limit. We show in numerical experiments that unlike many state-of-the-art approaches, our approach is able to complete very ill-conditioned matrices with a condition number of up to $10^{10}$ from few samples.

연구 동기 및 목표

• 매우 높은 조건수(최대 10^10)를 가진 저랭크 행렬을 소수의 관측된 원소로부터 복원하는 문제에 대응하기 위해.
• 표본 수가 적을 경우 계산 비용이 높고 자료 효율성이 떨어지는 볼록 핵심노름 근사화의 한계를 극복하기 위해.
• 안장점을 회피하고 빠른 국소 수렴을 달성하는 확장 가능한 두 번째 차수 최적화 방법을 개발하기 위해.
• 나쁜 조건수와 느린 수렴으로 인해 저랭크 문제에서 실패하는 일阶 방법의 한계를 극복하기 위해.
• PDE 기반 역문제 및 스펙트럼 추정과 같은 애플리케이션에서 자료 효율성, 확장성, 정밀도를 모두 확보하는 방법을 제공하기 위해.

제안 방법

• 비볼록적이며 비연속적인 랭크 서로서로 사용하는 매끄러운 로그 행렬식 목적함수 Fϵ(X) = ∑ fϵ(σi(X))를 사용하며, fϵ(σ)는 σ ≥ ϵ일 경우 log|σ|를 매끄럽게 근사하고, σ < ϵ일 경우 제곱함수로 근사한다.
• 현재 반복값 X^(k)에서 유도된 헤시안 기반 가중치 연산자 W^(k)를 사용하는 반복적으로 가중 최소 제곱법(IRLS) 프레임워크를 적용한다.
• 헤시안 근사치는 랜덤화된 블록 크릴로프 방법 또는 공액 그래디언트를 통해 계산되며, 전체 행렬을 저장하지 않고도 대규모 문제에까지 확장 가능하다.
• 스무딩 파라미터 ϵ은 반복 과정에서 적응적으로 감소하여 진짜 랭크 함수의 근사치를 정밀하게 개선한다.
• 데이터 제약 조건 하에 매끄러운 목적함수의 이차 모델을 풀고 스무딩 파라미터를 갱신하는 것을 번갈아가며, 목적함수의 감소를 보장한다.
• 이 방법은 안장점을 회피하는 스무딩 뉴턴 방법으로 해석되며, 불안정한 설정에서도 국소 최소값으로 수렴 가능하게 한다.

실험 결과

연구 질문

• RQ1 확장 가능한 두 번째 차수 방법이 불안정한 저랭크 행렬 복원 문제에서 안장점을 회피하고 빠른 국소 수렴을 달성할 수 있는가?
• RQ2 제안된 방법이 조건수 최대 10^10인 행렬에 대해 일阶 방법을 능가하는가?
• RQ3 정보 이론적 표본 복잡도에 근접하면서도 높은 정확도를 유지할 수 있는가?
• RQ4 적응적인 스무딩 파라미터 ϵ이 수렴과 복원 정확도에 미치는 영향은 어떠한가?
• RQ5 다양한 주요 크기의 순위를 가진 행렬의 모든 특이값을 높은 정밀도로 복원할 수 있는가?

주요 결과

• MatrixIRLS는 정보 이론적 한계에 가까운 표본 수로도 국소적으로 2차 수렴을 달성하여 빠른 국소 수렴을 보여준다.
• 랭크 10, 조건수 10^10인 1000×1000 행렬에 대한 실험에서 MatrixIRLS는 기계 정밀도 수준의 상대 프로베니우스 오차를 기록했으며, 모든 특이값을 15자리 정밀도로 복원했다.
• 다른 방법들과 달리, MatrixIRLS는 κ = 10^10인 행렬을 성공적으로 복원했으며, R2RILS, LRGeomCG, LMaFit, ScaledASD, ScaledGD, NIHT는 특이값을 정확히 복원하지 못했다.
• 내부 루프에서 사용된 공액 그래디언트 및 랜덤화된 블록 크릴로프 방법은 적절히 튜닝된 경우 높은 정밀도를 달성하여 정확한 헤시안 근사치를 가능하게 했다.
• 이 방법은 자료 효율성과 확장성을 유지하며, 불안정한 문제에서 볼록 및 일阶 접근법보다 수렴 속도와 정확도 면에서 뛰어나다.
• 다양한 합성 기준 테스트에서 극도로 높은 조건수를 가진 설정에서도 안장점을 회피하고 고정밀도 해에 수렴하는 능력이 여러 실험을 통해 검증되었다.