[논문 리뷰] The Nonconvex Geometry of Low-Rank Matrix Optimizations with General Objective Functions

Qiuwei Li, Gongguo Tang|arXiv (Cornell University)|2016. 11. 09.

Sparse and Compressive Sensing Techniques인용 수 7

한 줄 요약

이 논문은 일반적인 볼록 목표 함수와 노름 노름 정규화를 갖는 저질서 행렬 문제에 대해 인수 분해 최적화를 연구한다. 저질서 행렬을 인수 분해하고, 노름 노름을 프로베니우스 기반의 대체 함수로 대체함으로써, 비볼록 설정의 모든 임계점이 전역 최적해 또는 엄격한 안장점임을 증명하며, 이는 무작위 초기화로도 국소 방법의 전역 수렴을 가능하게 한다.

ABSTRACT

This work considers two popular minimization problems: (i) the minimization of a general convex function $f(\mathbf{X})$ with the domain being positive semi-definite matrices; (ii) the minimization of a general convex function $f(\mathbf{X})$ regularized by the matrix nuclear norm $\|\mathbf{X}\|_*$ with the domain being general matrices. Despite their optimal statistical performance in the literature, these two optimization problems have a high computational complexity even when solved using tailored fast convex solvers. To develop faster and more scalable algorithms, we follow the proposal of Burer and Monteiro to factor the low-rank variable $\mathbf{X} = \mathbf{U}\mathbf{U}^ op $ (for semi-definite matrices) or $\mathbf{X}=\mathbf{U}\mathbf{V}^ op $ (for general matrices) and also replace the nuclear norm $\|\mathbf{X}\|_*$ with $(\|\mathbf{U}\|_F^2+\|\mathbf{V}\|_F^2)/2$. In spite of the non-convexity of the resulting factored formulations, we prove that each critical point either corresponds to the global optimum of the original convex problems or is a strict saddle where the Hessian matrix has a strictly negative eigenvalue. Such a nice geometric structure of the factored formulations allows many local search algorithms to find a global optimizer even with random initializations.

연구 동기 및 목표

• 표준 볼록 해법기를 사용한 저질서 행렬 최적화 문제의 해법에서 높은 계산 복잡도를 해결하기 위해.
• 행렬 인수 분해를 활용하여 저질서 행렬 복구를 위한 더 빠르고 확장 가능한 알고리즘 개발을 위해.
• 일반적인 볼록 목표 함수와 노름 노름 정규화를 위한 인수 분해 설정의 기하학적 구조 분석을 위해.
• 국소 최적화 방법이 진정한 해로 전역 수렴할 수 있는 조건을 확립하기 위해.

제안 방법

• 저질서 행렬 X를 양정치 행렬의 경우 UU^T로, 일반 행렬의 경우 UV^T로 인수 분해한다.
• 최적화 설정에서 노름 노름 ||X||_* 를 (||U||_F^2 + ||V||_F^2)/2 로 대체한다.
• 요소 U와 V에 관해 비볼록 최적화 문제로 문제를 재구성한다.
• 임계점에서 헤시안을 분석하여 그 성격을 특성화한다: 전역 최적해 또는 엄격한 안장점.
• 미분기하학과 행렬 분석 도구를 사용하여 유령 국소 최적해의 부재를 증명한다.
• 유리한 기하학적 성질 덕분에, 국소 탐색 알고리즘이 온건한 조건 하에서 전역 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 저질서 행렬 최적화의 인수 분해 설정이 전역 최적해를 유지하면서 가짜 국소 최적해를 제거하는가?
• RQ2 일반적인 볼록 목표 함수의 비볼록 인수 분해 설정에서 임계점의 기하학적 구조는 어떠한가?
• RQ3 신중한 초기화 없이도 국소 최적화 방법이 신뢰성 있게 전역 해로 수렴할 수 있는가?
• RQ4 노름 노름을 프로베니우스 기반의 대체 함수로 대체하면 최적화 지형에 어떤 영향을 미치는가?
• RQ5 인수 분해 문제는 원래 볼록 문제와 동일한 해를 유지하는가?

주요 결과

• 인수 분해 최적화 문제의 모든 임계점은 원래 볼록 문제의 전역 최적해 또는 최소 하나의 음의 곡률 방향을 갖는 엄격한 안장점이다.
• 유령 국소 최적해가 없기 때문에, 국소 탐색 알고리즘은 무작위 초기화로부터도 전역 해로 수렴할 수 있다.
• 목표 함수 f(X)가 행렬 복구에 반드시 연결되지 않은 일반적인 볼록 함수일지라도, 기하학적 구조는 그대로 유지된다.
• 노름 노름을 프로베니우스 기반의 대체 함수로 대체해도 새로운 유령 임계점이 도입되지 않는다.
• 모든 임계점에서 헤시안은 전역 최적해가 아닐 경우 최소 하나의 엄격한 음의 고유값을 갖는다.