[논문 리뷰] Finding Low-Rank Solutions via Non-Convex Matrix Factorization, Efficiently and Provably

Dohyung Park, Anastasios Kyrillidis외 2명|arXiv (Cornell University)|2016. 06. 09.

Sparse and Compressive Sensing Techniques인용 수 7

한 줄 요약

이 논문은 비볼록 행렬 분해를 통한 저질서 행렬 최적화를 위한 효율적인 1차 방법인 이중요인 경사하강법(Bi-Factored Gradient Descent, BFGD)을 제안한다. 제약 조건이 부여된 매끄러운 목표 함수에 대해 국소적 하향수렴을 보이며, 목표 함수가 동시에 제약 조건 하에 강하게 볼록할 경우 선형 수렴을 보이며, 적절한 초기화 조건 하에서 이론적 보장을 제공한다.

ABSTRACT

A rank-$r$ matrix $X \\in \\mathbb{R}^{m \ imes n}$ can be written as a product $U V^\ op$, where $U \\in \\mathbb{R}^{m \ imes r}$ and $V \\in \\mathbb{R}^{n \ imes r}$. One could exploit this observation in optimization: e.g., consider the minimization of a convex function $f(X)$ over rank-$r$ matrices, where the set of rank-$r$ matrices is modeled via the factorization $UV^\ op$. Though such parameterization reduces the number of variables, and is more computationally efficient (of particular interest is the case $r \\ll \\min\\{m, n\\}$), it comes at a cost: $f(UV^\ op)$ becomes a non-convex function w.r.t. $U$ and $V$. We study such parameterization for optimization of generic convex objectives $f$, and focus on first-order, gradient descent algorithmic solutions. We propose the Bi-Factored Gradient Descent (BFGD) algorithm, an efficient first-order method that operates on the $U, V$ factors. We show that when $f$ is (restricted) smooth, BFGD has local sublinear convergence, and linear convergence when $f$ is both (restricted) smooth and (restricted) strongly convex. For several key applications, we provide simple and efficient initialization schemes that provide approximate solutions good enough for the above convergence results to hold.

연구 동기 및 목표

• 비용이 많이 드는 SVD 계산을 피하면서 저질서 행렬 복구를 위한 효율적이고 1차 최적화 방법을 개발하기 위해.
• 볼록 목표 함수의 맥락에서 비볼록 행렬 분해에 대한 수렴 보장을 제공하기 위해.
• 저질서 해에 수렴하도록 보장하는 간단하고 효과적인 초기화 기법을 설계하기 위해.
• 제약 조건 하에 매끄럽고 강하게 볼록한 조건을 가정할 때 이론적 수렴 속도—하향수렴 및 선형 수렴—를 확립하기 위해.
• 특히 고차원 설정에서 직접 행렬 최적화보다 요인 $U$와 $V$를 최적화하는 것이 계산적으로 우수한가를 보여주기 위해.

제안 방법

• 행렬 분해 $X = UV^\top$에서 요인 행렬 $U$와 $V$를 직접 최적화하는 1차 방법인 이중요인 경사하강법(BFGD)을 제안한다.
• 고정된 스텝 사이즈 $\eta$를 사용하여 $U$와 $V$에 대해 경사하강 업데이트를 수행하며, $U^{+} = U - \eta \nabla_U f(UV^\top)$ 및 $V^{+} = V - \eta \nabla_V f(UV^\top)$로 갱신한다.
• 진짜 저질서 해에 수렴하는 것을 추적하기 위해 거리 측도 $\textsc{Dist}(U,V;X^\star_r)^2 = \|U - U^\star R\|_F^2 + \|V - V^\star R\|_F^2$를 도입한다.
• 제약 조건 하에 매끄럽기 조건을 만족할 때 반복값의 차이와 경사의 내적을 유 bounds하기 위해 핵심 보조정리(Lemma C.6)를 활용하여 수렴 분석을 가능하게 한다.
• 삼각 부등식과 Mirsky의 정리를 사용하여 초기화 오차를 진짜 저질서 근사와 연결하는 수렴 경계를 유도한다.
• 제약 조건 하에 매끄럽고 강하게 볼록한 조건이 만족될 경우 반복 과정에서 최적 해에 대한 거리가 감소함을 증명하며, 이는 선형 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 볼록 목표 함수 하에서 비볼록 행렬 분해를 통한 경사하강법이 저질서 행렬 최적화에 대해 수렴 보장을 갖출 수 있는가?
• RQ2 목표 함수에 어떤 조건이 만족되어야 인접 영역에서 하향수렴 또는 선형 수렴이 보장되는가?
• RQ3 해의 전역 지식 없이도 수렴을 보장할 수 있도록 초기화를 어떻게 설계할 수 있는가?
• RQ4 일반적인 볼록 목표 함수에 대해 BFGD 알고리즘이 요인 공간에서 가짜 국소 최소값을 피할 수 있는가?
• RQ5 고차원 설정에서 SVD 기반 볼록 방법에 비해 BFGD의 계산 효율성은 어떻게 비교되는가?

주요 결과

• 목표 함수 $f$가 제약 조건 하에 매끄럽지만 강하게 볼록하지 않더라도 BFGD는 국소적 하향수렴을 달성한다.
• 목표 함수 $f$가 제약 조건 하에 매끄럽고 동시에 강하게 볼록할 경우 BFGD는 최적의 저질서 해에 대해 선형 수렴을 보인다.
• 적절한 초기화 조건 하에서 알고리즘이 수렴 보장을 갖추며, 반복값이 보장 조건이 유지되는 이웃 영역에 머무르도록 보장한다.
• 초기화 기법 $X_0 = -\frac{1}{L} \nabla f(0)$는 $\|X_0 - X^\star\|_F \leq \sqrt{2(1 - \mu/L)} \|X^\star\|_F$를 보장하며, 이는 초기 오차를 제한한다.
• 제시된 가정 하에 참 저질서 해 $X^\star_r$에 대한 거리가 반복 과정에서 단조 감소함을 보이며, 부등식 $\textsc{Dist}(U,V;X^\star_r)^2 \geq \textsc{Dist}(U^+,V^+;X^\star_r)^2$로 나타난다.
• 대규모 설정에서 전체 SVD 계산을 피하기 위해 행렬 곱셈 연산으로 대체함으로써 계산 효율성이 크게 향상된다.