[논문 리뷰] Geometry of Factored Nuclear Norm Regularization

Qiuwei Li, Zhihui Zhu외 1명|arXiv (Cornell University)|2017. 01. 01.

Sparse and Compressive Sensing Techniques참고 문헌 30인용 수 19

한 줄 요약

이 논문은 행렬 변수를 $X = UV^T$로 매개변수화하고 핵노름을 $\frac{1}{2}(\|U\|_F^2 + \|V\|_F^2)$로 대체함으로써 핵노름 정규화된 행렬 역문제의 비볼록 인수분해 재구성에 대해 연구한다. 손실 함수에 대해 (2r, 4r)-제한적 잘-conditioned 조건이 만족될 경우, 저자들은 인수분해 문제의 모든 임계점이 전역 최적해이거나 음의 곡률을 가진 엄격한 안장점임을 증명하며, 이는 무작위 초기화로부터 기울기 강하와 같은 국소 검색 방법의 전역 수렴을 가능하게 한다.

ABSTRACT

This work investigates the geometry of a nonconvex reformulation of minimizing a general convex loss function $f(X)$ regularized by the matrix nuclear norm $\|X\|_*$. Nuclear-norm regularized matrix inverse problems are at the heart of many applications in machine learning, signal processing, and control. The statistical performance of nuclear norm regularization has been studied extensively in literature using convex analysis techniques. Despite its optimal performance, the resulting optimization has high computational complexity when solved using standard or even tailored fast convex solvers. To develop faster and more scalable algorithms, we follow the proposal of Burer-Monteiro to factor the matrix variable $X$ into the product of two smaller rectangular matrices $X=UV^T$ and also replace the nuclear norm $\|X\|_*$ with $(\|U\|_F^2+\|V\|_F^2)/2$. In spite of the nonconvexity of the factored formulation, we prove that when the convex loss function $f(X)$ is $(2r,4r)$-restricted well-conditioned, each critical point of the factored problem either corresponds to the optimal solution $X^\star$ of the original convex optimization or is a strict saddle point where the Hessian matrix has a strictly negative eigenvalue. Such a geometric structure of the factored formulation allows many local search algorithms to converge to the global optimum with random initializations.

연구 동기 및 목표

• 복소수 해법을 사용할 때 핵노름 정규화된 행렬 역문제를 해결하는 데 드는 높은 계산 비용을 해결하기 위해.
• 비볼록 인수분해 매개변수화 $X = UV^T$를 사용하여 복소수 해법보다 더 빠르고 확장 가능한 대안을 개발하기 위해.
• 인수분해 형태의 이론적 보장을 확립하여, 잘-conditioned 손실 함수 하에서 가짜 국소 최적해가 존재하지 않음을 보여주기 위해.
• 비볼록성에도 불구하고 국소 최적화 방법이 전역 최적해로 수렴할 수 있음을 보여주기 위해.
• 기존 복소수 문제의 최적 통계적 성능을 계승함으로써 계산 효율성과 통계 성능 간 격차를 메우기 위해.

제안 방법

• 복소수 핵노름 문제 $\min_X f(X) + \lambda\|X\|_*$ 를 비볼록 인수분해 문제 $\min_{U,V} f(UV^T) + \lambda \cdot \frac{1}{2}(\|U\|_F^2 + \|V\|_F^2)$ 로 재구성한다.
• Burer-Monteiro 인수분해를 사용하여 변수 수를 $pq$에서 $(p+q)r$로 감소시켜 계산 비용을 크게 낮춘다.
• 인수분해 목표 함수 $g(U,V)$ 를 정의하고, 헤시안 행렬의 고유값에 초점을 맞춰 두 번째 순서 기하학적 분석을 수행한다.
• (2r, 4r)-제한적 잘-conditioned 성질을 도입: 저랭크 $X$ 및 $D$에 대해 $m\|D\|_F^2 \leq \langle \nabla^2 f(X), D \rangle \leq M\|D\|_F^2$ 를 만족하며, $M/m \leq 1.5$.
• 인수분해 문제 $g(U,V)$ 의 모든 임계점이 전역 최소화자(진짜 해 $X^*$에 해당)이거나 $\lambda_{\min}(\nabla^2 g) < 0$ 인 엄격한 안장점임을 증명한다.
• 헤시안 고유값에 대한 경계와 행렬 섭동 기법을 포함한 기하학적 분석을 사용하여 엄격한 안장 성질을 확립한다.

실험 결과

연구 질문

• RQ1 핵노름 정규화의 인수분해 비볼록 형태가 원래 복소수 문제의 전역 최적성을 유지하는가?
• RQ2 기울기 강하와 같은 국소 최적화 방법이 정교한 초기화 없이도 인수분해 형태에서 전역 최적해로 수렴할 수 있는가?
• RQ3 인수분해 문제에서 모든 임계점이 전역 최적해 또는 엄격한 안장점임을 보장하는 기하학적 구조는 무엇인가?
• RQ4 손실 함수 $f(X)$ 의 제한적 잘-conditioning 이 인수분해 문제의 경관에 어떤 영향을 미치는가?
• RQ5 인수분해 형태에서 가짜 국소 최적해가 존재하지 않도록 보장하는 조건은 무엇인가?

주요 결과

• (2r, 4r)-제한적 잘-conditioned 조건 하에서, 인수분해 문제의 모든 임계점은 전역 최소화자이거나 엄격한 안장점이다.
• 비최적 임계점에서 헤시안 행렬의 최소 고유값은 엄격히 음수이며, $r \geq r^*$ 일 때 하한 $-0.12m\min\{0.5\rho(W)^2, \rho(X^*)\}$ 으로 유계이다.
• $r = r^*$ 일 때, 헤시안의 음수 고유값은 하한 $-0.099m\rho(X^*)$ 로 유계이며, 원점에서는 $-0.12m\rho(X^*)$ 이다.
• 인수분해 문제에서는 원래 복소수 문제의 통계 성능을 그대로 이어받기 때문에 오라클 부등식이나 최소최대 속도 재유도가 필요 없다.
• 기하학적 구조 덕분에 노이즈가 있는 기울기 강하 및 신뢰영역 방법과 같은 국소 검색 알고리즘이 모든 안장점을 회피하고 무작위 초기화로부터 전역 수렴할 수 있다.
• 증명은 정규직교 투영과 양의 준정부호 행렬의 성질을 사용한 행렬 섭동 분석을 통해 헤시안을 유계로 제한하는 데 의존한다.