[논문 리뷰] Online Stochastic Gradient Descent with Arbitrary Initialization Solves Non-smooth, Non-convex Phase Retrieval

Tan Yan, Roman Vershynin|arXiv (Cornell University)|2019. 10. 28.

Advanced X-ray Imaging Techniques참고 문헌 32인용 수 13

한 줄 요약

이 논문은 임의의 초기화로부터 비연속, 비볼록 단층 회수 문제에 대해 일정 단계 크기로 온라인 확률적 경사 하강법(online SGD)이 전역 최소값으로 수렴함을 증명한다. 이는 오직 $\Omega(d\log d)$개의 가우시안 측정값만을 사용할 때 성립한다. 주요 기여는 요약 상태 공간과 확률 과정 이론을 활용한 새로운 분석 프레임워크로, 스펙트럼 초기화 없이도 수렴을 확보함으로써, 이중 단계 방법을 초월하는 이론 기반의 비볼록 최적화로의 중대한 도약이다.

ABSTRACT

In recent literature, a general two step procedure has been formulated for solving the problem of phase retrieval. First, a spectral technique is used to obtain a constant-error initial estimate, following which, the estimate is refined to arbitrary precision by first-order optimization of a non-convex loss function. Numerical experiments, however, seem to suggest that simply running the iterative schemes from a random initialization may also lead to convergence, albeit at the cost of slightly higher sample complexity. In this paper, we prove that, in fact, constant step size online stochastic gradient descent (SGD) converges from arbitrary initializations for the non-smooth, non-convex amplitude squared loss objective. In this setting, online SGD is also equivalent to the randomized Kaczmarz algorithm from numerical analysis. Our analysis can easily be generalized to other single index models. It also makes use of new ideas from stochastic process theory, including the notion of a summary state space, which we believe will be of use for the broader field of non-convex optimization.

연구 동기 및 목표

• 비볼록 최적화의 이론적 간극을 보완하기 위해, 단층 회수 문제에 대해 스펙트럼 초기화 없이 SGD의 수렴을 증명하는 것.
• 일정 단계 크기로 온라인 SGD가 비연속 크기 제곱 손실 목표 함수의 전역 최소값으로 수렴함을 입증하는 것.
• 확률 과정과 요약 상태 공간을 활용한 비볼록, 비연속 최적화 분석을 위한 일반화 가능한 프레임워크를 개발하는 것.
• 일반화된 최적화 방법이 사전 조건화 단계 없이도 임의의 초기화로부터 수렴할 수 있는지 조사하는 것.
• 비볼록 설정에서 SGD의 이론적 이해를 볼록 유사 경관이나 부드럽게 조정된 목표 함수를 넘어서 확장하는 것.

제안 방법

• 비연속 단층 회수 목표 함수 $f(\mathbf{x}) = \frac{1}{2N}\sum_{k=1}^N (|\langle\mathbf{a}^{(k)},\mathbf{x}\rangle| - b^{(k)})^2$ 에 대해 일정 단계 크기로 온라인 SGD를 분석한다.
• SGD 과정의 본질적 동역학을 추적하기 위해 요약 상태 공간을 도입하여 고차원 상태 진동을 다룰 수 있는 마르코프 체인으로 단순화한다.
• 가우시안 샘플링 벡터의 회전 대칭성과 $1/d$ 단계 크기 스케일링을 활용하여, $d \to \infty$의 점 渐진적 영역에서 수렴을 보여준다.
• 초과 확률를 제어하기 위해 슈퍼마르팅게일 부등식과 尾確率 경계를 적용한다.
• 해답 근처에서 수렴이 선형인 것을 입증하기 위해 새로운 상태 공간 분석 기법을 사용한다.
• 이 프레임워크를 다른 싱글 인덱스 모델로 일반화하고, 저질 랭크 행렬 감지에 적용 가능할 것이라 추측한다.

실험 결과

연구 질문

• RQ1 일정 단계 크기로 온라인 SGD가 비연속, 비볼록 단층 회수 문제에 대해 임의의 초기화로부터 전역 최소값으로 수렴할 수 있는가?
• RQ2 일반화된 최적화 방법을 통해 단층 회수 문제에서 스펙트럼 초기화의 필요성을 제거할 수 있는가?
• RQ3 비연속, 비볼록 설정에서 SGD 수렴을 연구하기 위해 어떤 새로운 분석 프레임워크를 개발할 수 있는가?
• RQ4 요약 상태 공간 접근법은 고차원 비볼록 최적화에서 SGD의 본질적 동역학을 어떻게 포괄하는가?
• RQ5 이 프레임워크는 단층 회수를 초월한 다른 싱글 인덱스 모델로 일반화될 수 있는가?

주요 결과

• 일정 단계 크기로 온라인 SGD는 비연속 크기 제곱 손실 목표 함수에 대해 임의의 초기화로부터 전역 최소값으로 수렴한다.
• 수렴은 $\Omega(d\log d)$개의 가우시안 측정값이 있으면 보장되며, 이는 최신 이중 단계 방법의 샘플 복잡도와 일치한다.
• 최종 단계에서 선형 수렴을 달성하며, 충분한 반복 후 오차가 $\left(1 - \frac{1}{2d}\right)^k$ 비율로 감소한다.
• 성공 확률은 최소 $0.8 - C/\log d - 1/d$이며, 차원 $d$가 증가함에 따라 0.8에 수렴한다.
• 요약 상태 공간을 활용한 분석 프레임워크는 적절한 연결 함수를 갖는 다른 싱글 인덱스 모델로 일반화 가능하다.
• 이 프레임워크는 다차원 상태 추적을 통한 비볼록 최적화 이해로의 길을 열며, 추적 변수의 수를 기반으로 한 복잡도 측정 기준을 제공한다.