[논문 리뷰] High Probability Convergence of Clipped-SGD Under Heavy-tailed Noise

Ta Duy Nguyen, Thien Hang Nguyen외 2명|arXiv (Cornell University)|2023. 02. 10.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 $p$-th 모멘트가 유계인 중성자에 대해 클리핑된 SGD의 고확률 수렴 경계를 확립한다($p \in (1,2]$), 이는 시간 최적 수렴 속도를 로그 인자까지 달성하는 새로운 분석 프레임워크를 사용한다. 이 방법은 최소한의 가정만 필요로 하며, 모멘텀이나 유계 기울기 가정 없이 노이즈 적응형 수렴 속도를 달성한다.

ABSTRACT

While the convergence behaviors of stochastic gradient methods are well understood \emph{in expectation}, there still exist many gaps in the understanding of their convergence with \emph{high probability}, where the convergence rate has a logarithmic dependency on the desired success probability parameter. In the \emph{heavy-tailed noise} setting, where the stochastic gradient noise only has bounded $p$-th moments for some $p\in(1,2]$, existing works could only show bounds \emph{in expectation} for a variant of stochastic gradient descent (SGD) with clipped gradients, or high probability bounds in special cases (such as $p=2$) or with extra assumptions (such as the stochastic gradients having bounded non-central moments). In this work, using a novel analysis framework, we present new and time-optimal (up to logarithmic factors) \emph{high probability} convergence bounds for SGD with clipping under heavy-tailed noise for both convex and non-convex smooth objectives using only minimal assumptions.

연구 동기 및 목표

• 기존의 분산 기반 가정이 실패하는 중성자에 의한 중성자에 의한 확률적 1차 방법 이론적 이해의 격차를 메운다.
• 유계 비중앙 모멘트나 도메인 직경 제약 조건과 같은 강력한 가정에 의존하는 기존의 고확률 수렴 결과의 한계를 극복한다.
• 최소한의 가정, 즉 유계 $p$-th 모멘트 노이즈를 가정할 때, 볼록 및 비볼록 스무스 목표 함수에 대해 시간 최적의 고확률 수렴을 확립한다.
• 모멘텀이나 기울기 정규화 없이도 노이즈 수준이 감소함에 따라 수렴 속도가 결정론적 속도에 수렴하는 노이즈 적응형 수렴 속도를 달성한다.
• 볼록 및 비볼록 설정에 모두 적용 가능한 일반적인 분석 프레임워크를 제공하여, 중성자에 의한 수렴 보장을 통합한다.

제안 방법

• 모멘텀을 사용하지 않는 간단한 기울기 클리핑 메커니즘을 가진 클리핑된 SGD 알고리즘을 제안한다.
• 중성자에 의한 노이즈의 편차를 제어하기 위해, 유계 $p$-th 모멘트에 의존하는 새로운 농도 분석 프레임워크를 도입한다.
• 누적된 기울기 노름의 편차를 제한하기 위해 고확률 마틴게일 농도 부등식을 사용하며, 편향과 분산을 균형 잡기 위해 클리핑 임계값을 선택한다.
• 시간 수렴 속도를 확보하기 위해, 노이즈 수준 $\sigma$, 시간 수평 $T$, 모멘트 파라미터 $p$에 적응하는 스텝 사이즈 스케줄을 유도한다.
• 반복 값을 편향과 노이즈 성분으로 분해하고, 체이닝 추론을 적용하여 제곱 편차의 합을 제어한다.
• 편차 항의 2차 모멘트를 제한하기 위해 핵심 레마를 활용하며, $\sigma^p$와 $T$와 관련된 철저히 선택된 $G$ 파라미터를 통해 고확률 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 $p \in (1,2]$에 대해 유계 $p$-th 모멘트 노이즈라는 최소한의 가정 하에서 클리핑된 SGD의 고확률 수렴을 확립할 수 있는가?
• RQ2 제안된 방법이 중성자 노이즈 하에서 볼록 및 비볼록 목표 함수에 대해 시간 최적 수렴 속도(로그 인자까지)를 달성하는가?
• RQ3 유계 기울기나 비중앙 모멘트를 요구하지 않고도 수렴 보장이 노이즈 수준이 감소함에 따라 향상되는 노이즈 적응형 수렴을 달성할 수 있는가?
• RQ4 모멘텀이나 도메인 직경 유계성 등의 추가 가정 없이도 고확률 수렴을 달성할 수 있는가?
• RQ5 중성자 노이즈 하에서 볼록 및 비볼록 설정에 모두 적용 가능한 통합 분석 프레임워크를 개발할 수 있는가?

주요 결과

• 논문은 볼록 및 비볼록 스무스 목표 함수에 대해 최소한의 가정인 유계 $p$-th 모멘트 노이즈 하에서 클리핑된 SGD의 고확률 수렴을 확립한다.
• 수렴 속도는 $T$와 성공 확률 $\delta$에 대해 로그 인자까지 시간 최적이다. 기대값 하에서 알려진 하한선과 일치한다.
• 노이즈 적응형 수렴 속도를 달성한다: 노이즈 수준 $\sigma$가 감소함에 따라 수렴 속도가 결정론적 속도에 수렴한다.
• 기존 연구들과 달리, 유계 기울기, 비중앙 모멘트, 도메인 직경 제약 조건을 요구하지 않는다.
• 스텝 사이즈는 $\sigma$, $T$, $p$, 그리고 문제의 스무스니스 파라미터 $L$에 따라 적응적으로 선택되어 최적 스케일링을 보장한다.
• 확률 $1 - \delta$로, 평균 제곱 기울기 노름이 $\mathcal{O}\left(\sqrt{\Delta_1 L} \ln \frac{4T}{\delta} \cdot T^{\frac{2-2p}{3p-2}} \max\left\{ \sigma^{\frac{p}{p-1}}, T^{\frac{1-2p}{3p-2}} \right\} \right)$ 이하로 유계가 된다. 이는 원하는 수렴 속도를 달성한다.