[논문 리뷰] Convergence Rates for the Stochastic Gradient Descent Method for Non-Convex Objective Functions

Benjamin Fehrman, Benjamin Gess외 1명|arXiv (Cornell University)|2019. 04. 02.

Stochastic Gradient Optimization Techniques참고 문헌 51인용 수 19

한 줄 요약

이 논문은 전역적 볼록성 또는 수축 조건을 요구하지 않고 비볼록 목적 함수에 대한 확률적 경사 하강법(SGD)의 수렴 속도를 확립한다. 국소적 매끄러움성과 최소점에서 헤시안의 비퇴화 조건 하에, 고유한 최소점이 아니거나 대칭성이 있는 신경망에 적용 가능한 명시적 확률적 경계를 갖는 국소적 수렴을 증명한다.

ABSTRACT

We prove the local convergence to minima and estimates on the rate of convergence for the stochastic gradient descent method in the case of not necessarily globally convex nor contracting objective functions. In particular, the results are applicable to simple objective functions arising in machine learning.

연구 동기 및 목표

• 전역적 볼록성 또는 수축 조건이 성립하지 않는 비볼록 기계학습 문제에서 SGD의 수렴 속도 보장이 부족한 문제를 해결한다.
• 신경망에서 흔히 발생하는 고유하지 않은 최소점 또는 다양체 형태의 최소점들을 고려하기 위해, 전역적 대신 국소적 최소점 집합에서 SGD 수렴을 분석한다.
• 최소점에서의 국소적 매끄러움성과 헤시안의 비퇴화 조건 하에 SGD의 정량적 수렴 속도를 확립한다.
• 최소점이 고립점이 아니더라도, 알고리즘 출력이 ε-하위최적해일 확률에 대한 경계를 제공한다.
• 레이저(Rectified Linear Unit, ReLU) 또는 선형 활성화를 갖는 단순한 신경망에 이 이론적 프레임워크를 적용 가능함을 보여준다. 이 경우 최소점은 가중치 대칭성으로 인해 다양체를 이룬다.

제안 방법

• 목적 함수를 기댓값으로 표현한다: f(θ) = E[F(θ, X)], 여기서 F는 가측 함수이고 X는 랜덤 변수이다.
• 최소점 집합 M ∩ U 근방에서 f의 국소적 C³ 매끄러움성을 가정하며, M ∩ U가 차원 d인 C¹ 다양체임을 가정한다.
• 비퇴화 조건을 도입한다: M ∩ U의 모든 점에서 f의 헤시안이 질량 d − d를 갖는다. 이는 최소점 집합이 퇴화되지 않음을 보장한다.
• 독립적인 궤적을 갖는 미니배치 SGD 방식을 사용한다: Θk,M,r_n = Θk,M,r_{n−1} − (r / (n^{ρ} M)) Σ_{m=1}^M ∇θF(Θk,M,r_{n−1}, Xk,n,m), ρ ∈ (2/3, 1).
• 각 단계에서 K개의 독립적 실행 중에서 성능이 가장 좋은 궤적을 선택한다. 이는 미니배치 손실 평가를 통해 이루어지며, ΘK,M,M,r_n는 Σ_{m=1}^M F(Θk,M,r_n, X1,n+1,m)를 최소화한다.
• 하나의 높은 확률 경계를 도출한다: P(f(ΘK,M,M,r_n) − inf f ≥ ε) ≤ cK/ε²M + [κ + c(1/(ε²n^ρ) + n^{1−ρ}/M^{1/2})]^K, 여기서 κ ∈ [0,1).

실험 결과

연구 질문

• RQ1 목적 함수에 대해 전역적 볼록성 또는 수축 조건이 없을 경우, SGD의 수렴 속도를 어떻게 확립할 수 있는가?
• RQ2 최소점이 고립점이 아니고 다양체를 이룰 경우, 어떤 조건이 SGD의 국소적 수렴을 보장하는가?
• RQ3 최소점 다양체에 수직인 방향에서 헤시안이 퇴화될 경우, 수렴은 어떻게 정량화할 수 있는가?
• RQ4 ε-하위최적해를 높은 확률로 달성하기 위해, 미니배치 크기 M, 독립적 실행 수 K, 반복 횟수 n 사이의 상호 교환 관계는 어떻게 되는가?
• RQ5 레이저(ReLU) 또는 선형 활성화를 갖는 단순한 신경망에 이 이론적 프레임워크를 적용할 수 있는가? 이 경우 최소점은 대칭성으로 인해 고유하지 않다.

주요 결과

• 논문은 K개의 SGD 궤적 중 최고 성능 궤적의 하위최적성에 대해 높은 확률 경계를 확립한다: P(f(ΘK,M,M,r_n) − inf f ≥ ε) ≤ cK/ε²M + [κ + c(1/(ε²n^ρ) + n^{1−ρ}/M^{1/2})]^K.
• 이 경계는 K에 대해 지수적으로 감소하며, κ ∈ [0,1)에 의해 제어되며, 이는 초기 조건이 안착지역 외부에 있거나 안착지역 내에서 실패할 확률을 반영한다.
• cK/ε²M 항은 M → ∞로 갈수록 사라지며, 이는 정확한 기울기 계산에 해당한다. 이는 미니배치 크기 M이 확률적 근사의 편향을 제어함을 보여준다.
• 수렴 속도는 n^ρ와 n^{1−ρ}에 의존하며, ρ ∈ (2/3, 1) 이므로 단계 크기 감소와 분산 감소 사이의 상충 관계를 나타낸다.
• 4파rameter 선형 네트워크의 경우, 최소점 집합 M ∩ U는 2차원 C¹ 다양체이며, 헤시안은 전체 질량 2 = codim(M ∩ U)를 갖는다. 이는 비퇴화 조건을 만족함을 의미한다.
• 2파라미터 ReLU 네트워크의 경우, 최소점 집합 M ∩ U는 1차원 C¹ 다양체이며, 헤시안의 질량은 1 = codim(M ∩ U)이다. 이는 비퇴화 조건이 성립함을 확인한다.