[논문 리뷰] On the Convergence of Stochastic Gradient Descent with Bandwidth-based Step Size

Xiaoyu Wang, Ya-xiang Yuan|arXiv (Cornell University)|2021. 02. 17.

Stochastic Gradient Optimization Techniques참고 문헌 45인용 수 5

한 줄 요약

이 논문은 시간이 지남에 따라 감쇠하는 상한 및 하한으로 제약을 받는 대역폭 기반 단계 크기 프레임워크를 제안한다. 이는 확률적 경사 하강법(SGD)에 적용되며, 미묘한 조건 하에서 비점근 수렴 속도를 확립하여 다양한 단계 크기 정책, 비단조화 정책(예: $1/t$ 상승-하강 및 순환 스케줄)에 대해 최적의 $\mathcal{O}(1/T)$ 및 $\mathcal{O}(\log T / T)$ 수렴 속도를 보여준다.

ABSTRACT

We investigate the stochastic gradient descent (SGD) method where the step size lies within a banded region instead of being given by a fixed formula. The optimal convergence rate under mild conditions and large initial step size is proved. Our analysis provides comparable theoretical error bounds for SGD associated with a variety of step sizes. In addition, the convergence rates for some existing step size strategies, e.g., triangular policy and cosine-wave, can be revealed by our analytical framework under the boundary constraints. The bandwidth-based step size provides efficient and flexible step size selection in optimization. We also propose a $1/t$ up-down policy and give several non-monotonic step sizes. Numerical experiments demonstrate the efficiency and significant potential of the bandwidth-based step-size in many applications.

연구 동기 및 목표

• 단계 크기가 고정된 스케줄을 따르는 것이 아니라 시간에 따라 변하는 밴드 영역 내에 있을 때 SGD의 수렴성을 분석하는 것.
• 큰 초기 단계 크기와 유한한 경사 노이즈를 가정하는 미묘한 가정 하에서 SGD의 비점근 수렴 속도를 확립하는 것.
• 기존의 비단조화 단계 크기 전략(예: 삼각형,余弦파, 조각별 감쇠 정책 등)을 하나의 이론적 프레임워크 안에서 통합하고 분석하는 것.
• 새로운 $1/t$ 상승-하강 단계 크기 정책을 제안하고, 이 정책의 수렴 성질을 입증하는 것.
• 적응형 및 순환 스케줄을 포함한 다양한 단계 크기 가족에 대해, 기존 최고 수준의 결과와 비교할 수 있는 이론적 오차 경계를 제공하는 것.

제안 방법

• 비감소 함수인 $ \delta_1(t), \delta_2(t) $를 사용하여 대 bandwidth 기반 단계 크기 제약 조건을 도입: $ m\delta_1(t) \leq \eta(t) \leq M\delta_2(t) $.
• 기댓값 $ \mathbb{E}[\|x_t - x^*\|^2] $ 에 대한 최적 해와의 기댓값 제곱 거리에 대한 경계를 유도하기 위해 리아푸노프 함수 접근법을 사용한다.
• 단계 크기와 경사 노이즈 분산을 포함하는 재귀 부등식을 적용하여 수렴 속도를 유도한다.
• 적분 및 로그 경계를 사용하여 다양한 대역폭 함수 하에서 오차 항의 감쇠를 분석한다.
• 단계 크기의 감쇠와 경사 노이즈 누적 효과의 균형을 통해 수렴 속도를 유도한다.
• 기존 정책(예: $1/t$,余弦, 삼각형)이 대역폭 제약 조건을 만족하고 알려진 수렴 속도를 달성함을 보여줌으로써 프레임워크의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 비단조화 및 고정되지 않은 단계 크기 정책을 분석할 수 있는 통합된 이론적 프레임워크를 개발할 수 있는가?
• RQ2 단계 크기가 시간에 따라 변하는 밴드 내에 있을 때 SGD의 수렴 속도는 어떤가?
• RQ3 기존의 단계 크기 전략(예: 순환 학습률 또는 조각별 감쇠)은 이 대역폭 기반 프레임워크에 어떻게 통합되는가?
• RQ4 새로운 비단조화 단계 크기 정책(예: $1/t$ 상승-하강)은 이 프레임워크 내에서 설계되고 수렴이 증명될 수 있는가?
• RQ5 유한한 경사 노이즈 하에서 초기 단계 크기의 크기와 수렴 속도 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• 적절한 대역폭 조건 하에서 강凸성과 $L$-리프시츠 조건을 만족하는 함수에 대해 대역폭 기반 프레임워크는 최적의 $\mathcal{O}(1/T)$ 수렴 속도를 달성한다.
• 단계 크기가 $ \eta(t) \in [m/(t+1)\ln(t+1), M/(t+1)^\alpha] $ 를 만족하고 $ \alpha \in (1/2,1] $ 일 경우, 수렴 속도는 $ \mathcal{O}(1/(\ln T)^{\tau\mu m}) $ 로, 다항식보다 느리지만 $ \mathcal{O}(1/T^\epsilon) $ 보다 빠르며, 임의의 $ \epsilon > 0 $ 에 대해 성립한다.
• 프레임워크는 기존 정책의 수렴 행동을 복구하고 설명한다: 삼각형 및 여유선형 스케줄링 정책이 대역폭 제약 조건을 만족하고 알려진 오차 경계를 달성함을 입증한다.
• 제안된 $1/t$ 상승-하강 정책은 대역폭 모델 하에서 수렴이 증명되어 단계 크기 설계의 유연성을 보여준다.
• 수치 실험을 통해 다양한 기계 학습 응용 분야에서 대역폭 기반 단계 크기의 효율성과 실용적 잠재력을 확인한다.
• 분석은 비단조화 단계 크기일 경우에도 기존 최고 수준의 결과와 비교할 수 있는 비점근 오차 경계를 제공한다.