[논문 리뷰] On the Convergence of Projected-Gradient Methods with Low-Rank Projections for Smooth Convex Minimization over Trace-Norm Balls and Related Problems

Dan Garber|arXiv (Cornell University)|2019. 02. 05.

Sparse and Compressive Sensing Techniques참고 문헌 31인용 수 6

한 줄 요약

이 논문은 추적 노름 구역 내에서 부드러운 볼록 최적화 문제에 대해 저질 랭크 특이값 분해(SVD)를 사용하는 투영된 기울기 방법의 증명 가능 수렴성을 확립한다. 최적 해에서 기울기의 가장 큰 특이값의 중복도와 동일하거나 略로 높은 SVD 근사의 랭크를 갖는다면 따뜻한 초기화 조건에서 수렴이 보장되며, 수렴 영역의 반경은 스펙트럼 갭에 비례함을 증명한다.

ABSTRACT

Smooth convex minimization over the unit trace-norm ball is an important optimization problem in machine learning, signal processing, statistics and other fields, that underlies many tasks in which one wishes to recover a low-rank matrix given certain measurements. While first-order methods for convex optimization enjoy optimal convergence rates, they require in worst-case to compute a full-rank SVD on each iteration, in order to compute the projection onto the trace-norm ball. These full-rank SVD computations however prohibit the application of such methods to large problems. A simple and natural heuristic to reduce the computational cost is to approximate the projection using only a low-rank SVD. This raises the question if, and under what conditions, this simple heuristic can indeed result in provable convergence to the optimal solution. In this paper we show that any optimal solution is a center of a Euclid. ball inside-which the projected-gradient mapping admits rank that is at most the multiplicity of the largest singular value of the gradient vector. Moreover, the radius of the ball scales with the spectral gap of this gradient vector. We show how this readily implies the local convergence (i.e., from a "warm-start" initialization) of standard first-order methods, using only low-rank SVD computations. We also quantify the effect of "over-parameterization", i.e., using SVD computations with higher rank, on the radius of this ball, showing it can increase dramatically with moderately larger rank. We extend our results also to the setting of optimization with trace-norm regularization and optimization over bounded-trace positive semidefinite matrices. Our theoretical investigation is supported by concrete empirical evidence that demonstrates the extit{correct} convergence of first-order methods with low-rank projections on real-world datasets.

연구 동기 및 목표

• 저질 랭크 SVD 근사를 사용하는 투영 기울기 방법이 추적 노름 제약이 있는 볼록 최적화 문제에서 수렴 보장을 유지하는지 여부를 해결하기 위해.
• 완전 랭크 SVD를 저질 랭크 SVD로 대체할 수 있는 조건을 규명하여 최적 해로의 수렴을 잃지 않도록 하기 위해.
• 과도한 파rameter화(약간 더 높은 랭크의 SVD 사용)가 국소 수렴 영역 크기에 미치는 영향을 정량화하기 위해.
• 이론적 결과를 추적 노름 정규화 문제 및 추적 노름이 유한한 양의 정부호 행렬 최적화 문제로 확장하기 위해.
• 실세계의 행렬 완성 데이터셋에서 실증적으로 검증하여 최소한의 랭크 SVD를 사용할 때도 정확한 수렴이 이루어짐을 보여주기 위해.

제안 방법

• 최적 해 근처의 투영 기울기 사상에 대한 이론적 분석을 통해, 이 사상이 최적점 중심의 유클리드 구 내에서 저질 랭크 구조를 유지함을 보여줌.
• 최적점에서 기울기의 가장 큰 특이값의 중복도에 기반한 국소 수렴 조건 유도.
• 최적점에서 기울기 행렬의 가장 큰 특이값과 두 번째로 큰 특이값 사이의 스펙트럼 갭에 비례하는 수렴 반경 도입.
• 계산 비용을 $ O(mn^2) $ 에서 $ O(rmn) $ 으로 줄이기 위해 랭크 $ r $ 의 절삭 SVD를 사용해 전체 랭크 투영을 근사함.
• 실제로 저질 랭크 SVD를 효율적으로 계산하기 위해 케리로프 부분공간 방법(예: 힘의 반복, 랑츠 방법) 적용.
• MovieLens 데이터셋을 사용한 실증적 검증: 동일한 초기화 및 수렴 기준 조건 하에서 완전 랭크 및 저질 랭크 SVD 기반 방법 간 비교.

실험 결과

연구 질문

• RQ1 투영 기울기 단계에서 저질 랭크 SVD 근사를 사용할 때, 최적 해로의 수렴이 유지되는 조건은 무엇인가?
• RQ2 최적 해에서 기울기의 가장 큰 특이값의 중복도와 SVD 근사에 필요한 랭크 사이의 관계는 무엇인가?
• RQ3 최적 해의 랭크를 초과하는 SVD 랭크를 늘릴 경우(과도한 파rameter화), 국소 수렴 영역 크기에 어떤 영향을 미치는가?
• RQ4 따뜻한 초기화 조건이 주어졌을 때, PGD 및 FISTA와 같은 1차 방법이 오직 저질 랭크 SVD만을 사용해도 정확하게 수렴할 수 있는가?
• RQ5 실세계의 행렬 완성 데이터셋에서의 실증 결과가 이론적 수렴 보장과 얼마나 일치하는가?

주요 결과

• 최적 해의 랭크는 최적점에서 기울기의 가장 큰 특이값의 중복도와 일치함을 확인함: $ \textrm{rank}({\mathbf{X}}^{*}) = \#\sigma_1(\nabla f({\mathbf{X}}^{*})) $, 이는 모든 테스트된 MovieLens 데이터셋에서 확인됨.
• PGD 및 FISTA 모두 ML100k 및 ML1M 데이터셋에서 최적 해의 랭크와 동일한 SVD 랭크를 사용할 경우 투영 기울기 방법이 정확하게 수렴함을 입증함.
• FISTA는 최적 해의 랭크를 초과해 최대 두 개의 추가 SVD 성분만 필요로 함으로써, 약간의 과도한 파arameter화가 수렴을 위해 충분함을 시사함.
• 스펙트럼 갭이 작을 경우, SVD 랭크를 약간만 증가시켜도 국소 수렴 영역 반경이 크게 증가함.
• 적절한 초기화 조건 하에서 저질 랭크 SVD를 사용하는 방법이 완전 랭크 SVD 방법과 동일한 반복 값을 생성함을 실증적으로 확인하여 정확한 수렴을 확인함.
• ML100k에서 $ \tau = 3500 $ 일 경우, 최적 해의 랭크는 41이며, 기울기에서는 가장 큰 특이값에 대해 42개의 성분이 존재함. FISTA는 랭크 42에서 정확하게 수렴함.