[논문 리뷰] Dropping Convexity for Faster Semi-definite Optimization

Srinadh Bhojanapalli, Anastasios Kyrillidis외 1명|arXiv (Cornell University)|2015. 09. 14.

Sparse and Compressive Sensing Techniques참고 문헌 63인용 수 49

한 줄 요약

이 논문은 긍정 준정부 행렬 제약 조건 $X \succeq 0$ 하에 $\min_X f(X)$ 를 풀기 위해 비볼록 형태인 $\min_U g(U) = f(UU^T)$ 로 문제를 변환함으로써 더 빠른 준정적 최적화를 위한 Factored Gradient Descent (FGD) 를 제안한다. 여기서 $U \in \mathbb{R}^{n \times r}$ 이다. 새로운 스텝 사이즈 규칙과 적절한 초기화를 사용할 경우, FGD 는 표준 경사하강법과 동일한 수렴 속도를 달성한다. 즉, 부드러운 볼록 함수 $f$ 에서는 $O(1/k)$ 의 하향 수렴 속도를, 제한된 강한 볼록성 조건이 만족될 경우 선형 수렴 속도를 보이며, 이는 이 널리 쓰이는 접근 방식에 대해 처음으로 일반적인 수렴 보장을 제공한다.

ABSTRACT

We study the minimization of a convex function $f(X)$ over the set of $n imes n$ positive semi-definite matrices, but when the problem is recast as $\min_U g(U) := f(UU^ op)$, with $U \in \mathbb{R}^{n imes r}$ and $r \leq n$. We study the performance of gradient descent on $g$---which we refer to as Factored Gradient Descent (FGD)---under standard assumptions on the original function $f$. We provide a rule for selecting the step size and, with this choice, show that the local convergence rate of FGD mirrors that of standard gradient descent on the original $f$: i.e., after $k$ steps, the error is $O(1/k)$ for smooth $f$, and exponentially small in $k$ when $f$ is (restricted) strongly convex. In addition, we provide a procedure to initialize FGD for (restricted) strongly convex objectives and when one only has access to $f$ via a first-order oracle; for several problem instances, such proper initialization leads to global convergence guarantees. FGD and similar procedures are widely used in practice for problems that can be posed as matrix factorization. To the best of our knowledge, this is the first paper to provide precise convergence rate guarantees for general convex functions under standard convex assumptions.

연구 동기 및 목표

• 행렬 인수분해 기반 준정적 최적화에서 인수 분해 경사하강법(FGD)의 경험적 성공과 이론적 이해 사이의 격차를 메우기.
• 볼록 함수 $f(X)$ 를 양의 준정적 행렬 위에서 최소화할 때, 비볼록 매개변수화 $X = UU^T$ 를 통한 FGD 의 수렴 속도 보장을 제공하기.
• 표준 볼록성 가정 하에서 최적 또는 근사 최적 해로 수렴하도록 보장하는 스텝 사이즈 규칙과 초기화 절차를 확립하기.
• 비볼록이지만 원래 볼록 문제에서 경사하강법과 동일한 수렴 속도를 달성할 수 있음을 보여주기.

제안 방법

• 준정적 계획 문제 $\min_{X \succeq 0} f(X)$ 를 $\min_{U \in \mathbb{R}^{n \times r}} f(UU^T)$ 로 재구성하여 비제약 최적화를 가능하게 하기.
• 업데이트 규칙 $U^{+} = U - \eta \nabla f(UU^T) U$ 를 가진 Factored Gradient Descent (FGD) 를 제안하며, 여기서 $\eta$ 는 $f$ 의 부드러움과 최적 $X^\star$ 의 최대 특이값에 의존하는 새로운 스텝 사이즈이다.
• 알 수 없는 최적 $X^\star$ 에 의존하는 스텝 사이즈 규칙을 도입하고, $X^\star$ 의 일정 요소 추정치를 사용해도 수렴이 보장됨을 보여준다.
• 제한된 강한 볼록성 조건을 만족하는 $f$ 에 대해, 일阶 오рак불 액세스만으로도 가능한 전역 수렴 보장을 보장하는 FGD 의 적절한 초기화 절차를 제공한다.
• 부드러움과 제한된 강한 볼록성(RSC) 등의 표준 볼록 분석 도구를 사용하여 수렴을 분석하고, 행렬 섭동 및 스펙트럼 기법을 통해 기울기와 반복값의 경계를 유도한다.
• 낮은 질서의 인수 공간에서 기울기와 반복값의 행동을 분석하기 위해 행렬 분해와 투영 연산자(예: $Q_U Q_U^T$)를 사용한다.

실험 결과

연구 질문

• RQ1 비볼록 인수화 문제 $\min_U f(UU^T)$ 에서의 인수 분해 경사하강법(FGD) 이 원래 볼록 문제에서의 고전적 경사하강법과 동일한 수렴 속도를 달성할 수 있는가?
• RQ2 표준 볼록성 가정 하에서 FGD 의 수렴을 보장하는 스텝 사이즈 규칙은 무엇이며, 최적 해가 알려지지 않은 상황에서 어떻게 구현할 수 있는가?
• RQ3 FGD 가 전역적으로 수렴하는 조건은 무엇이며, 제한된 강한 볼록성 목표 함수에서 이를 보장하는 초기화 전략은 무엇인가?
• RQ4 요청된 질서 $r < r^\star$ 인 경우, 즉 인수화 질서가 최적 해의 진짜 질서보다 낮을 경우 FGD 는 어떻게 행동하는가?
• RQ5 완전한 강한 볼록성 조건이 없이, $f$ 가 부드럽거나 제한된 강한 볼록성 조건만 만족하는 경우에도 분석을 확장할 수 있는가?

주요 결과

• 부드러운 볼록 함수 $f$ 에 대해 FGD 는 $O(1/k)$ 의 하향 수렴 속도를 보이며, 원래 볼록 문제에서의 표준 경사하강법과 동일한 속도를 달성한다.
• 제한된 강한 볼록성(RSC) 조건이 만족될 경우, FGD 는 유일한 최적 해 $X^\star$ 로 선형 수렴하며, 강한 볼록성 조건 하에서 고전적 경사하강법과 동일한 수렴 속도를 보인다.
• 요청된 질서 $r < r^\star$ 인 경우, 부드러움과 RSC 조건 하에서 FGD 는 $X^\star$ 의 최적 랭크-$r$ 근사와 거리가 $O(\sigma_r(X^\star)/\kappa)$ 이내의 점으로 수렴한다.
• 제안된 스텝 사이즈 규칙은 부드러움 상수 $M$ 과 최적 $X^\star$ 의 최대 특이값에 의존하며, $X^\star$ 의 일정 요소 추정치를 사용해 수렴을 보장할 수 있다.
• 일阶 오라클 액세스만으로도 제한된 강한 볼록성 목표 함수에 대해 FGD 를 위한 적절한 초기화 절차를 제공하여 전역 수렴 보장을 확립한다.
• 분석을 통해 $g(U) = f(UU^T)$ 의 기울기가 인수 공간에서 잘 행동하며, 내림방향이 낮은 질서의 다양체에서 $f$ 의 진짜 기울기와 일치함을 보였다.