[논문 리뷰] On exponential convergence of SGD in non-convex over-parametrized learning

Raef Bassily, Mikhail Belkin외 1명|arXiv (Cornell University)|2018. 11. 06.

Stochastic Gradient Optimization Techniques참고 문헌 10인용 수 58

한 줄 요약

이 논문은 보간(interpolation) 영역에서 Polyak-Lojasiewicz(PL) 조건을 만족하는 손실 함수에 대해 고정 학습률을 가진 미니배치 SGD의 지수 수렴을 보인다. 이는 비볼록 PL 손실에 대해 기존의 볼록 결과를 확장한다.

ABSTRACT

Large over-parametrized models learned via stochastic gradient descent (SGD) methods have become a key element in modern machine learning. Although SGD methods are very effective in practice, most theoretical analyses of SGD suggest slower convergence than what is empirically observed. In our recent work [8] we analyzed how interpolation, common in modern over-parametrized learning, results in exponential convergence of SGD with constant step size for convex loss functions. In this note, we extend those results to a much broader non-convex function class satisfying the Polyak-Lojasiewicz (PL) condition. A number of important non-convex problems in machine learning, including some classes of neural networks, have been recently shown to satisfy the PL condition. We argue that the PL condition provides a relevant and attractive setting for many machine learning problems, particularly in the over-parametrized regime.

연구 동기 및 목표

• 과잉 매개화된 모델에서 보간 under interpolation에서 SGD 수렴성 연구를 동기화한다.
• 넓은 비볼록 프레임워크로서 Polyak-Lojasiewicz (PL) 조건을 소개한다.
• PL 손실에 대해 고정 스텝 크기와 함께 미니배치 SGD의 지수 수렴을 보인다.
• PL 함수의 변환 불변성 특성과 그것이 SGD에 미치는 함의를 강조한다.
• 더 빠른 수렴을 보이는 특정 convex PL 손실 클래스에 대한 특수 결과를 제공한다.

제안 방법

• ERMs에서 매끄러운 손실에 대한 alpha-PL 함수 및 보간 가정 정의.
• 상수 스텝 사이즈 η*를 갖는 미니배치 SGD를 분석하고 수렴 경계를 도출.
• E[L(w_t)]가 기하적으로 감소하여 비율(1 - alpha η*(m)/2)으로 수렴함을 보인다.
• η*(m) = alpha m / (lambda (beta + lambda (m-1))).
• 자비안(Jacobian) 경계 하에 PL 및 매끄러움성을 보존하는 합성 f(Phi(.))에 결과를 확장한다.
• A를 고정하고 g(Ax) 형태의 특수한 convex PL 손실 클래스에 대해, convergence를 A의 특이값에 의존하는 특이값 분해와 연결하여 다룬다.

실험 결과

연구 질문

• RQ1 고정 스텝 사이즈로 비볼록 PL-손실에서도 SGD가 보간 영역에서 지수적으로 수렴하는가?
• RQ2 PL 조건하에서 미니배치 크기 m이 최적 스텝 크기와 수렴 속도에 어떤 영향을 미치는가?
• RQ3 PL 수렴이 좌표 변환이나 특징 맵 아래에서도 보존되는가?
• RQ4 특정 하위 클래스의 convex PL 손실에 대해 일반 PL 경계보다 수렴 속도를 개선할 수 있는가?
• RQ5 선형 매핑과 특이값과 같은 구조적 조건이 SGD에 대해 더 강력한 보장을 주는가?

주요 결과

• 고정 스텝 η*(m)을 갖는 미니배치 SGD가 알파-PL과 보간 조건 하에서 기대값 수렴을 지수적으로 달성한다.
• 수렴 경계는 E[L(w_t)] ≤ (1 - alpha η*(m)/2)^t L(w_0)이다.
• 최적 스텝 크기는 η*(m) = alpha m / (lambda (beta + lambda (m-1)))이다.
• PL 함수는 Jacobian이 유한한 변환 Phi의 광범위한 클래스에 대해 닫혀 있어 지수적 SGD 수렴을 보존한다.
• 특정 클래스 f(w) = g(Aw)에서 g가 convex하고 강하게 convex하면, SGD는 A의 특이값과 관련된 sigma_min^2, sigma_max^2에 의존하는 속도로 지수적 수렴을 달성한다.
• 변환 불변성 특성은 PL 수렴이 특징 맵 및 좌표 변경에 대해 완화된 조건 하에서 견고함을 보임을 보여준다.