[논문 리뷰] Global Convergence of Stochastic Gradient Descent for Some Non-convex Matrix Problems

Christopher De, Kunle Olukotun외 1명|arXiv (Cornell University)|2014. 11. 04.

Sparse and Compressive Sensing Techniques참고 문헌 40인용 수 76

한 줄 요약

이 논문은 행렬 완성, 위상 복원, 부분공간 추적과 같은 비볼록 낮은 질서 행렬 문제에서 전역 수렴을 보장하는 적응형 단계 크기를 갖는 확률적 경사 하강법(SGD) 변종인 Alecton을 제안한다. 넓은 샘플링 조건 하에서 무작위 초기화로부터 $O(\epsilon^{-1}n\log n)$ 단계 내에 수렴성을 증명하며, 이는 확률적 거듭제곱 반복과의 연결성과 새로운 마링게일 기반 분석을 활용한다.

ABSTRACT

Stochastic gradient descent (SGD) on a low-rank factorization is commonly employed to speed up matrix problems including matrix completion, subspace tracking, and SDP relaxation. In this paper, we exhibit a step size scheme for SGD on a low-rank least-squares problem, and we prove that, under broad sampling conditions, our method converges globally from a random starting point within $O(\\epsilon^{-1} n \\log n)$ steps with constant probability for constant-rank problems. Our modification of SGD relates it to stochastic power iteration. We also show experiments to illustrate the runtime and convergence of the algorithm.

연구 동기 및 목표

• 행렬 완성 및 부분공간 추적과 같은 비볼록 낮은 질서 행렬 문제에서 기존 SGD에 대한 전역 수렴 보장을 부족하게 하는 문제를 해결하기 위해.
• 이전 연구에서 사용되는 고비용 SVD 기반 초기화 방법을 피하면서도 무작위 초기화로부터 전역 수렴을 달성하는 알고리즘을 개발하기 위해.
• 제한된 노이즈 크기 가정 없이 다양한 노이즈 모델에 강건한 수렴 속도를 제공하기 위해.
• 비볼록 최적화에 적용 가능한 새로운 마링게일 기반 분석 기법을 수립하기 위해, 이전 연구를 초월하여 확장한다.

제안 방법

• Alecton은 현재 반복값의 노름에 반비례하는 단계 크기를 사용함으로써 안정성과 수렴성을 보장하는 방식으로 SGD를 수정한다.
• 알고리즘은 확률적 거듭제곱 반복을 모방하도록 설계되어 고유값 문제와 연결되며, 전역 수렴을 가능하게 한다.
• 핵심 기술적 구성 요소로는 측정 연산자의 제한된 등장비성 조건(Restricted Isometry Property, RIP)을 사용하며, $3p$-RIP와 파라미터 $\delta < 1/3$는 해의 근방에서 강력한 볼록성 보장한다.
• 변형된 목적 함수의 헤시안을 분석하여, $\|YY^T - A\|_F$가 작을 경우 해의 일정한 반경 내에서 강력한 볼록성을 증명한다.
• 하이브리드 전략을 제안한다: 먼저 Alecton을 사용해 강력한 볼록성 영역에 도달한 후, 정확한 해에 수렴하는 선형 수렴 속도를 확보하기 위해 좌표 강하법으로 전환한다.
• 분석은 확률적 기울기의 분산을 제한하고 일반적인 샘플링 조건 하에서 수렴을 가능하게 하는 새로운 마링게일 기반 기법에 기반한다.

실험 결과

연구 질문

• RQ1 고비용 초기화를 요구하지 않고도 비볼록 낮은 질서 행렬 문제에서 확률적 경사 하강법이 전역 수렴 가능할 수 있는가?
• RQ2 무작위 초기화로부터 행렬 완성 및 관련 문제에서 수렴을 보장하는 적응형 단계 크기 규칙이 존재하는가?
• RQ3 제한된 노이즈 크기 가정 없이 일반적인 노이즈 모델에 강건한 수렴 분석이 가능할 수 있는가?
• RQ4 Alecton과 확률적 거듭제곱 반복 사이에 전역 수렴을 가능하게 하는 연결 고리가 존재하는가?
• RQ5 비볼록 낮은 질서 최적화에서 전역 수렴 속도를 확립하기 위해 마링게일 기반 분석 기법을 개발할 수 있는가?

주요 결과

• Alecton은 일정 질서 문제에서 무작위 초기화로부터 상수 확률로 $O(\epsilon^{-1}n\log n)$ 단계 내에 전역 수렴을 달성한다.
• 기존 SGD가 발산할 수 있는 상황에서도 Alecton은 반복값의 노름에 기반한 적응형 단계 크기 규칙 덕분에 수렴을 보장한다.
• 분석이 샘플의 분산에만 의존하므로 노이즈 크기의 유계성 가정 없이 다양한 노이즈 모델에 강건하다.
• 목적 함수의 헤시안은 해의 일정한 반경 내에서 강력한 볼록성을 띤다는 것이 입증되었으며, 이는 빠른 국소 수렴을 가능하게 한다.
• 하한선이 부록 E에서 제시된 바와 같이 일반 설정에서 최적의 수렴 속도를 달성한다. 비록 일부 이전 방법보다 느리지만, 고비용 초기화를 요구하지 않는다는 점에서 유리하다.
• Alecton과 좌표 강하법을 조합한 하이브리드 접근법은 빠른 전역 수렴과 정확한 해에 대한 선형 수렴 속도 향상을 모두 달성한다.