[논문 리뷰] Provable Accelerated Gradient Method for Nonconvex Low Rank Optimization

Huan Li, Zhouchen Lin|arXiv (Cornell University)|2017. 02. 16.

Sparse and Compressive Sensing Techniques참고 문헌 63인용 수 5

한 줄 요약

이 논문은 행렬을 더 작은 요소로 분해하고, Nesterov 스타일의 가속화를 적용하며 교대 제약 전략을 사용하여 비볼록 저질행렬 최적화 문제에 대해 증명 가능하게 가속화된 경사하강법을 제안한다. 이는 조건 수에 대한 최적의 종속성 √(L/μ)을 가지며 국소적으로 선형 수렴 속도를 달성한다. 동시에 임의의 초기화로부터 임계점으로의 전역 수렴을 보장한다.

ABSTRACT

Optimization over low rank matrices has broad applications in machine learning. For large scale problems, an attractive heuristic is to factorize the low rank matrix to a product of two much smaller matrices. In this paper, we study the nonconvex problem $\min_{U\in\mathcal{R}^{n imes r}} g(U)=f(UU^T)$ under the assumptions that $f(X)$ is restricted $μ$-strongly convex and $L$-smooth on the set $\{X:X\succeq 0,rank(X)\leq r\}$. We propose an accelerated gradient method with alternating constraint that operates directly on the $U$ factors and show that the method has local linear convergence rate with the optimal dependence on the condition number of $\sqrt{L/μ}$. Globally, our method converges to the critical point with zero gradient from any initializer. Our method also applies to the problem with the asymmetric factorization of $X=\widetilde U\widetilde V^T$ and the same convergence result can be obtained. Extensive experimental results verify the advantage of our method.

연구 동기 및 목표

• 조건 수에 대한 최적 종속성을 확보하면서 증명 가능한 수렴을 달성하는 비볼록 저질행렬 최적화를 위한 가속화된 일阶 방법을 개발하는 것.
• 기존 볼록 가속화 기법이 직접 적용되지 않는 비볼록 저질행렬 문제에서 경사하강법의 가속화에 도전하는 것.
• 행렬 분해에 의해 유도되는 비볼록성에도 불구하고, 기울기가 0인 임계점으로의 전역 수렴을 보장하는 것.
• 수렴 보장을 유지하면서 비대칭 분해(X = ŨṼᵀ)로의 방법 확장.
• 제약된 부분문제에 고전적 가속화 방법을 적용할 수 있도록, 제한된 강력한 볼록성과 극좌표 분해를 이용한 이론적 수렴 속도 설정.

제안 방법

• 저질행렬 요소 U에 직접 작용하는 가속화된 경사하강법을 제안하며, 적응형 모멘타 매개변수를 갖는 Nesterov의 모멘타 스킴을 사용한다.
• 반복값을 UUᵀ가 최적 해에 가까운 행렬의 집합 위로 투영하는 교대 제약 전략을 도입하여 진짜 임계점으로의 수렴을 보장한다.
• 경로를 따라 국소적 제한된 강력한 볼록성을 확보하기 위해 극좌표 분해를 활용하여, 비볼록 문제에 볼록 가속화 이론을 적용할 수 있도록 한다.
• 리아푸노프 함수 프레임워크를 사용하여 수렴을 증명하며, 경사하강 단계와 모멘타 항을 결합하여 수렴을 가속화한다.
• 안정성과 수렴을 보장하기 위해 스텝 사이즈와 모멘타 매개변수에 대한 조건을 유도하며, γ와 ν는 L, μ, η, 및 β_max로 정의된다.
• 대칭 분해(X = UUᵀ)와 비대칭 분해(X = ŨṼᵀ) 양쪽 모두에 이 방법을 적용하여 동일한 수렴 보장을 보여준다.

실험 결과

연구 질문

• RQ1 비볼록 저질행렬 최적화 문제에 Nesterov 스타일의 가속화를 증명 가능하게 적용할 수 있는가?
• RQ2 가속화된 방법이 조건 수 √(L/μ)에 대해 최적 종속성을 갖는 수렴 속도를 달성하는가?
• RQ3 행렬 분해에 의해 유도되는 비볼록성에도 불구하고, 임계점으로의 전역 수렴을 보장할 수 있는가?
• RQ4 교대 제약 전략이 제약된 문제의 국소 최소화점이 아닌 진짜 해로의 수렴을 보장하는가?
• RQ5 수렴 이론은 비대칭 저질행렬 분해로까지 확장 가능한가?

주요 결과

• 제안된 방법은 √(L/μ)에 의존하는 국소 선형 수렴 속도를 달성하며, 이는 조건 수 종속성에 대해 최적이다.
• 비볼록 설정에서조차도 임의의 초기화로부터 기울기가 0인 임계점으로의 전역 수렴이 보장된다.
• 대칭 및 비대칭 저질행렬 분해 모두에서 동일한 수렴 속도를 유지한다.
• 수렴 분석은 극좌표 분해를 통해 제한된 강력한 볼록성을 확보함으로써 이루어지며, 이는 볼록 가속화 기법의 적용을 가능하게 한다.
• 이론적 보장은 광범위한 실험 결과에 의해 뒷받침되며, 표준 경사하강법 대비 뛰어난 성능을 보인다.
• 스텝 사이즈와 모멘타 매개변수에 대한 유도된 조건 하에서 방법은 안정적이며, γ와 ν는 수렴을 보장하도록 정의된다.