[논문 리뷰] Adam-family Methods for Nonsmooth Optimization with Convergence Guarantees

Nachuan Xiao, Xiaoyin Hu외 2명|arXiv (Cornell University)|2023. 05. 06.

Neural Networks and Applications인용 수 7

한 줄 요약

이 논문은 미끄러운, 비볼록 최적화 문제에서 Clarke 정류점으로의 수렴을 보장하는, Adam 계열 방법을 위한 새로운 이중 시간스케일 프레임워크를 제안한다. 경사 하강 클리핑과 적응형 스텝사이즈를 통합함으로써, 적분 가능(중심 꼬리) 노이즈가 존재하는 상황에서도 수렴을 보장하며, 이는 Adam 계열 방법이 비스무스러운 신경망 학습에 적용될 때 처음으로 이론적 보장을 제공한다.

ABSTRACT

In this paper, we present a comprehensive study on the convergence properties of Adam-family methods for nonsmooth optimization, especially in the training of nonsmooth neural networks. We introduce a novel two-timescale framework that adopts a two-timescale updating scheme, and prove its convergence properties under mild assumptions. Our proposed framework encompasses various popular Adam-family methods, providing convergence guarantees for these methods in training nonsmooth neural networks. Furthermore, we develop stochastic subgradient methods that incorporate gradient clipping techniques for training nonsmooth neural networks with heavy-tailed noise. Through our framework, we show that our proposed methods converge even when the evaluation noises are only assumed to be integrable. Extensive numerical experiments demonstrate the high efficiency and robustness of our proposed methods.

연구 동기 및 목표

• ReLU 및 기타 미분 불가능한 활성화 함수를 사용하는 비스무스러운 신경망 학습에서 Adam 계열 방법의 이론적 수렴 보장 부족 문제를 해결한다.
• 딥 러닝에서 흔한 비Clarke 정규성 비스무스러운 함수에서의 확률적 하위미분 분석의 과제를 극복한다.
• 최소한의 가정 하에 수렴 분석을 제공하며, 실세계 응용에서 흔한 적분 가능(중심 꼬리) 평가 노이즈를 포함한다.
• 유명한 Adam 변종들(Adam, AdaBelief, AMSGrad, NAdam, Yogi)을 포함하고 비스무스러운 설정으로 확장하는 통합 프레임워크를 개발한다.
• 약한 노이즈 가정 하에 경사 하강 클리핑의 이론적 기반을 확립하여, 강건성과 수렴성을 보장한다.

제안 방법

• 변수 갱신과 노이즈 추정을 분리하는 이중 시간스케일 프레임워크(AFMs)를 제안하며, 각각에 대해 다른 스텝사이즈를 사용한다.
• 보존장과 Clarke 하위미분의 관점에서 수렴을 정의함으로써, 비가역적이고 국소 리프시츠 함수의 분석이 가능해진다.
• 약한 가정 하에, AFM에 의해 생성된 반복점의 임의의 집합점이 목적 함수의 Clarke 정류점임을 증명한다.
• 감소하는 스텝사이즈를 사용할 때, Adam, AdaBelief, AMSGrad, NAdam, Yogi가 AFM 프레임워크에 부합함을 보이며, 이로 인해 비스무스러운 설정에서의 수렴 보장을 상속한다.
• 적분 가능(제곱 합계가 불가능한) 노이즈를 다룰 수 있도록, 확률적 하위미분 방법에 경사 하강 클리핑 기법을 도입한다. 이는 약한 모멘트 조건 하에서도 수렴을 보장한다.
• AFM 프레임워크에 통합함으로써, 노이즈가 중심 꼬리일 경우에도 클리핑된 확률적 하위미분 방법의 이론적 수렴을 확립한다.

실험 결과

연구 질문

• RQ1 ReLU 기반 신경망 학습과 같은 비스무스러운, 비볼록 최적화 문제에 대해, Adam 계열 방법이 이론적으로 수렴 보장을 갖출 수 있는가?
• RQ2 목적 함수가 미분 불가능하고 Clarke 정규가 아닌 경우에도 기존의 Adam 계열 방법 수렴 결과가 적용 가능한가?
• RQ3 평가 노이즈가 제곱 합계가 불가능한(즉, 중심 꼬리) 경우, 확률적 하위미분 방법에서 경사 하강 클리핑을 이론적으로 정당화할 수 있는가?
• RQ4 다양한 Adam 계열 방법의 행동을 포괄하고 비스무스러운 설정에서 수렴을 보장할 수 있는 통합 프레임워크를 설계할 수 있는가?
• RQ5 제안된 프레임워크는 거의 모든 초기화 조건에서 자동 미분에 의해 유도되는 가짜 정류점을 피할 수 있는가?

주요 결과

• 제안된 이중 시간스케일 프레임워크(AFMs)는 약한 가정 하에 비스무스러운, 국소 리프시츠 함수 및 비볼록 함수에 대해 Clarke 정류점으로의 수렴을 보장한다.
• 감소하는 스텝사이즈를 사용할 때, Adam, AdaBelief, AMSGrad, NAdam, Yogi가 AFM 프레임워크에 부합함을 입증하였으며, 이는 비스무스러운 설정에서의 수렴 보장을 상속함을 의미한다.
• 목적 함수가 전역적으로 리프시츠이거나 Clarke 정규가 아니어도, 프레임워크는 거의 확실한 수렴을 보장한다.
• AFM 프레임워크 하에서, 경사 하강 클리핑 기법은 적분 가능 노이즈 조건 하에서도 엄밀히 정당화될 수 있으며, 이는 노이즈가 중심 꼬리일 경우에도 수렴성을 보장한다.
• 수치 실험을 통해 제안된 Adam 계열 방법이 PyTorch 등 표준 구현과 동일한 효율성을 보이며, 이론적 수렴 보장을 유지함을 확인하였다.
• 프레임워크는 거의 모든 초기점과 스텝사이즈 조합에서 자동 미분에 의해 발생하는 가짜 정류점을 피할 수 있어, 실용적 신뢰성을 향상시킨다.