[논문 리뷰] Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping

Eduard Gorbunov, М. А. Данилова외 1명|arXiv (Cornell University)|2020. 05. 21.

Stochastic Gradient Optimization Techniques인용 수 15

한 줄 요약

이 논문은 무거운 尾 비용을 가진 확률적 기울기에서의 영향을 줄이기 위해 기울기 클리핑을 사용하는 가속화된 확률적 1차 방법인 clipped-SSTM을 소개한다. 이는 기존의 경량 꼬리 가정 없이도, 중간 확률적 복잡도 한계를 처음으로 확립하며, 표준 SGD에 비해 강건성과 수렴 속도를 크게 향상시킨다.

ABSTRACT

In this paper, we propose a new accelerated stochastic first-order method called clipped-SSTM for smooth convex stochastic optimization with heavy-tailed distributed noise in stochastic gradients and derive the first high-probability complexity bounds for this method closing the gap in the theory of stochastic optimization with heavy-tailed noise. Our method is based on a special variant of accelerated Stochastic Gradient Descent (SGD) and clipping of stochastic gradients. We extend our method to the strongly convex case and prove new complexity bounds that outperform state-of-the-art results in this case. Finally, we extend our proof technique and derive the first non-trivial high-probability complexity bounds for SGD with clipping without light-tails assumption on the noise.

연구 동기 및 목표

• 확률적 기울기가 중간 꼬리 분포를 띠는 경우 표준 확률적 기울기 하강법(SGD)의 열악한 강건성과 성능 문제를 해결하기 위해.
• 현재 경량 꼬리 대비 뒤처지는 중간 확률 수렴 한계 이론적 간극을 메우기 위해, 중간 꼬리 노이즈 하에서의 확률적 최적화에 대한 높은 확률 수렴 한계를 이론적으로 보완하기 위해.
• 실제로 안정성과 강건성을 확보하면서도 중간 꼬리 노이즈 하에서 빠른 수렴 속도를 유지하는 방법을 개발하기 위해.
• 볼록 및 강볼록 설정 모두에 분석을 확장하여, 후자의 경우 향상된 복잡도 한계를 유도하기 위해.
• 경량 꼬리 가정 없이도 클리핑된 SGD에 대한 비어 있지 않은 높은 확률의 복잡도 한계를 확립하기 위해.

제안 방법

• Nesterov 스타일의 가속화와 기울기 클리핑을 결합한 새로운 가속화된 확률적 1차 방법인 clipped-SSTM을 제안하여 중간 꼬리 노이즈의 영향을 완화한다.
• 각 반복에서 기울기의 노름을 제한함으로써 기울기 클리핑을 적용하여 희귀한 중간 꼬리 이상치에 의한 큰 갱신을 방지한다.
• 비-Lipschitz 또는 중간 꼬리 기울기 노이즈 하에서 수렴을 향상시키기 위해 적응형 단계 크기 및 운동량 파rameter를 사용하는 가속화된 SGD의 특수 변형을 사용한다.
• 서브-웨이불 또는 서브-가우시안 유사 꼬리에 특화된 농도 부등식을 사용하여, 서브-가우시안 가정이 성립하지 않을 경우에도 높은 확률 수렴 한계를 도출한다.
• 기존 최첨단 방법에 비해 향상된 수렴 속도를 보이는 강볼록 케이스에 대해 이 방법을 확장한다.
• 서브-가우시안 꼬리 가정에 의존하지 않는 새로운 증명 기법을 활용하여, 일반적인 중간 꼬리 노이즈 하에서도 클리핑된 SGD에 대한 한계를 도출할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 기울기 클리핑을 통한 가속화된 확률적 최적화 방법이 중간 꼬리 확률적 기울기 노이즈 하에서 높은 확률 수렴을 달성할 수 있는가?
• RQ2 기울기 노이즈가 중간 꼬리일 경우, 확률적 최적화에 대한 첫 번째 비점근적, 높은 확률의 복잡도 한계는 무엇인가?
• RQ3 clipped-SSTM은 중간 꼬리 노이즈 하에서 표준 SGD 및 기타 클리핑 변종에 비해 수렴 속도와 강건성 측면에서 어떻게 비교되는가?
• RQ4 클리핑된 SGD의 이론적 분석을 경량 꼬리 가정을 초월해 확장할 수 있으며, 그 결과로 도출되는 복잡도 한계는 무엇인가?
• RQ5 가속화와 클리핑의 조합이 중간 꼬리 노이즈 하에서 강볼록 케이스에서 향상된 수렴 속도를 이끌 수 있는가?

주요 결과

• clipped-SSTM은 중간 꼬리 노이즈 하에서의 확률적 최적화에 대해 최초로 높은 확률의 복잡도 한계를 달성하여 이론적 이해의 주요 격차를 메운다.
• 실제 데이터셋인 australian, a9a, w8a에서 표준 SGD에 비해 진동을 크게 줄이고 안정성을 향상시킴을 입증하였다.
• australian 데이터셋에서, 큰 단계 크기 조건 하에서도 clipped-SSTM은 수렴 안정성과 최종 비최적성 측면에서 표준 SGD 및 클리핑 변종을 능가한다.
• w8a 데이터셋에서는 기울기 노이즈가 중간 꼬리임을 감안할 때, clipped-SSTM은 SGD 및 다른 클리핑 변종보다 뛰어난 성능을 보이며, SSTM은 노이즈 누적 문제로 인해 성능이 떨어진다.
• 이론적 분석 결과, clipped-SSTM은 중간 꼬리 노이즈 하에서 볼록 및 강볼록 설정 모두에서 최적 또는 근접 최적의 수렴 속도를 달성한다.
• 이 논문은 경량 꼬리 가정 없이도 클리핑된 SGD에 대한 비어 있지 않은 높은 확률의 복잡도 한계를 처음으로 확립하여 클리핑 기반 방법의 적용 가능성을 넓혔다.