[논문 리뷰] The Global Optimization Geometry of Low-Rank Matrix Optimization

Zhihui Zhu, Qiuwei Li외 2명|arXiv (Cornell University)|2017. 03. 03.

Sparse and Compressive Sensing Techniques참고 문헌 45인용 수 30

한 줄 요약

이 논문은 행렬 분해를 통한 저질서 행렬 최적화의 전역 최적화 기하학을 수립하며, 제한된 강한 볼록성과 미세성 조건 하에서 인수분해된 문제는 강건한 엄격한 안장점 성질을 만족함을 보여주어 기울기 기반 방법의 전역 수렴을 보장한다. 또한 정확, 과도 및 과소 파arameterization 설정 전역에서 유령 국소 최소값이 존재하지 않음을 추가로 증명한다.

ABSTRACT

This paper considers general rank-constrained optimization problems that minimize a general objective function $f(X)$ over the set of rectangular $n imes m$ matrices that have rank at most $r$. To tackle the rank constraint and also to reduce the computational burden, we factorize $X$ into $UV^T$ where $U$ and $V$ are $n imes r$ and $m imes r$ matrices, respectively, and then optimize over the small matrices $U$ and $V$. We characterize the global optimization geometry of the nonconvex factored problem and show that the corresponding objective function satisfies the robust strict saddle property as long as the original objective function $f$ satisfies restricted strong convexity and smoothness properties, ensuring global convergence of many local search algorithms (such as noisy gradient descent) in polynomial time for solving the factored problem. We also provide a comprehensive analysis for the optimization geometry of a matrix factorization problem where we aim to find $n imes r$ and $m imes r$ matrices $U$ and $V$ such that $UV^T$ approximates a given matrix $X^\star$. Aside from the robust strict saddle property, we show that the objective function of the matrix factorization problem has no spurious local minima and obeys the strict saddle property not only for the exact-parameterization case where $rank(X^\star) = r$, but also for the over-parameterization case where $rank(X^\star) < r$ and the under-parameterization case where $rank(X^\star) > r$. These geometric properties imply that a number of iterative optimization algorithms (such as gradient descent) converge to a global solution with random initialization.

연구 동기 및 목표

• 행렬 인수분해를 이용한 질서 제약이 있는 행렬 문제의 전역 최적화 지형을 이해하기 위해.
• 인수분해된 비볼록 문제에서 유령 국소 최소값과 안장점을 피할 수 있는 조건을 확립하기 위해.
• 기울기 하강법과 같은 반복 알고리즘의 전역 수렴에 대한 이론적 보장을 제공하기 위해.
• 정확한 파arameterization을 초월한 최적화 기하학을 분석하기 위해, 과도 및 과소 파arameterization 케이스 포함.
• 제한된 강한 볼록성과 미세성을 만족하는 일반적인 목적 함수 하에서 행렬 인수분해 문제의 분석을 통합하기 위해.

제안 방법

• 낮은 질서 행렬 $\boldsymbol{X}$ 를 $\boldsymbol{U}\boldsymbol{V}^T$ 로 인수분해하여 $\boldsymbol{U} \in \mathbb{R}^{n \times r}$, $\boldsymbol{V} \in \mathbb{R}^{m \times r}$ 로 하여 더 작은 행렬 위에서 최적화하는 문제로 축소한다.
• 비볼록 최적화 기하학 도구를 사용하여 $h(\boldsymbol{U}, \boldsymbol{V}) = f(\boldsymbol{U}\boldsymbol{V}^T)$ 인수분해된 목적 함수를 분석한다.
• 원래 목적 함수 $f$ 가 제한된 강한 볼록성과 미세성을 만족한다면, $h$ 는 강건한 엄격한 안장점 성질을 만족함을 증명한다.
• 편미분 분석과 기울기 하한을 이용하여 모든 임계점이 전역 최소값 또는 엄격한 안장점임을 보여준다.
• 정확한 파arameterization 외에도 과도 및 과소 파arameterization 케이스에서, 즉 $\operatorname{rank}(\boldsymbol{X}^\star) \neq r$ 일지라도 행렬 인수분해 문제에 유령 국소 최소값이 존재하지 않음을 확립한다.
• 변수 교체 $\boldsymbol{W} = [\boldsymbol{U}; \boldsymbol{V}]$ 를 사용하고, 임계점 주변의 헤시안과 기울기 행동을 분석한다.

실험 결과

연구 질문

• RQ1 원래 목적 함수 $f$ 에 어떤 조건이 성립할 경우, 인수분해된 문제 $h(\boldsymbol{U}, \boldsymbol{V})$ 가 강건한 엄격한 안장점 성질을 만족하는가?
• RQ2 과도 파arameterization ($\operatorname{rank}(\boldsymbol{X}^\star) < r$) 과 과소 파arameterization ($\operatorname{rank}(\boldsymbol{X}^\star) > r$) 영역에서 행렬 인수분해 문제에 유령 국소 최소값이 존재하는가?
• RQ3 무작위 초기화 하에 기울기 기반 방법이 저질서 행렬 최적화에서 전역 해로 전역 수렴할 수 있는가?
• RQ4 진짜 행렬 질서가 인수분해 질서와 다를 경우, 인수분해된 문제의 최적화 지형은 임계점 근처에서 어떻게 행동하는가?
• RQ5 어떤 기하학적 성질이 행렬 인수분해 설정에서 모든 국소 최소값이 전역 최소값임을 보장하는가?

주요 결과

• 원래 목적 함수 $f$ 가 제한된 강한 볼록성과 미세성을 만족하면, 인수분해된 문제는 강건한 엄격한 안장점 성질을 만족하며, 이는 노이즈가 있는 기울기 하강법이 다항식 시간 내에 전역 수렴함을 보장한다.
• 모든 질서 구성 조건에서 행렬 인수분해 문제에 유령 국소 최소값이 존재하지 않는다: 정확 ($\operatorname{rank}(\boldsymbol{X}^\star) = r$), 과도 파arameterization ($\operatorname{rank}(\boldsymbol{X}^\star) < r$), 과소 파arameterization ($\operatorname{rank}(\boldsymbol{X}^\star) > r$).
• 모든 파arameterization 영역에서 목적 함수는 엄격한 안장점 성질을 만족하며, 이는 무작위 초기화를 가진 기울기 하강법이 전역 해로 수렴함을 의미한다.
• 기울기 노름에 하한이 확립된다: 임계 영역에서 $\|\nabla G(\boldsymbol{W})\|_F \geq \frac{1}{45}\|\boldsymbol{W}\boldsymbol{W}^T\|_F^{3/2}$, 이는 유령 국소 최소값이 존재하지 않음을 확인한다.
• 헤시안 근사에서 상수 $c$ 에 대한 조건, 특히 $c \leq \frac{1}{100} \frac{\sigma_r^{3/2}(\boldsymbol{X}^\star)}{\|\boldsymbol{X}^\star\|_F \|\boldsymbol{X}^\star\|^{1/2}}$ 를 만족할 경우, 강건한 엄격한 안장점 성질이 보장된다.
• 결과는 행렬 감지 및 행렬 복원과 같은 낮은 질서 최적화 문제의 넓은 클래스로 일반화되며, $f$ 에 대한 미세한 정규성 조건 하에서 성립한다.