[논문 리뷰] Convergence Analyses of Online ADAM Algorithm in Convex Setting and Two-Layer ReLU Neural Network

Biyi Fang, Diego Klabjan|arXiv (Cornell University)|2019. 05. 22.

Machine Learning and ELM참고 문헌 25인용 수 5

한 줄 요약

이 논문은 무한한 데이터 스트림에서의 온라인 학습을 위한 새로운 회귀 지표인 '이동 윈도우를 고려한 회귀'를 도입하며, 볼록 함수 및 두 층의 ReLU 신경망 설정에서 O(√T)의 회귀 한계를 달성하는 적응형 온라인 알고리즘(convgAdam 및 dnnAdam)을 제안한다. 저자들은 이론적 수렴 보장을 확립하고 기존 기준 방법들에 비해 뛰어난 경험적 성능을 입증한다.

ABSTRACT

Nowadays, online learning is an appealing learning paradigm, which is of great interest in practice due to the recent emergence of large scale applications such as online advertising placement and online web ranking. Standard online learning assumes a finite number of samples while in practice data is streamed infinitely. In such a setting gradient descent with a diminishing learning rate does not work. We first introduce regret with rolling window, a new performance metric for online streaming learning, which measures the performance of an algorithm on every fixed number of contiguous samples. At the same time, we propose a family of algorithms based on gradient descent with a constant or adaptive learning rate and provide very technical analyses establishing regret bound properties of the algorithms. We cover the convex setting showing the regret of the order of the square root of the size of the window in the constant and dynamic learning rate scenarios. Our proof is applicable also to the standard online setting where we provide the first analysis of the same regret order (the previous proofs have flaws). We also study a two layer neural network setting with ReLU activation. In this case we establish that if initial weights are close to a stationary point, the same square root regret bound is attainable. We conduct computational experiments demonstrating a superior performance of the proposed algorithms.

연구 동기 및 목표

• 표준 점점 감소하는 학습률이 실패하는 무한한 데이터 스트림에서의 온라인 학습 문제를 해결하기 위해.
• 최근 샘플의 고정 크기 윈도우에서 알고리즘 성능을 평가하는 새로운 성능 지표인 '이동 윈도우를 고려한 회귀'를 도입하기 위해.
• 일정 또는 적응형 학습률을 사용하는 스트리밍 데이터에 적합한 적응형 온라인 최적화 알고리즘(convgAdam, dnnAdam)을 개발하기 위해.
• 새로운 지표 하에서 볼록 함수 및 두 층의 ReLU 신경망에 대해 O(√T)의 회귀 한계를 이론적으로 증명하기 위해.
• 제안된 알고리즘의 우수성을 기존의 온라인 경사 하강법 및 표준 Adam 방법과 비교하여 경험적으로 검증하기 위해.

제안 방법

• 최근 샘플의 고정 크기 이동 윈도우에서 온라인 알고리즘 성능을 평가하는 성능 지표로 '이동 윈도우를 고려한 회귀'를 도입한다.
• 일반적인 엄밀히 볼록 함수에 대해 Adam 스타일의 적응형 학습률 기반 적응형 온라인 서브기울기 방법인 convgAdam을 제안한다.
• 두 층의 ReLU 신경망을 위해 dnnGd 및 dnnAdam을 설계하며, 기울기 재스케일링과 제곱 기울기의 지수 이동 평균을 통한 적응형 스텝 사이즈를 통합한다.
• 업데이트의 안정화와 회귀 분석을 가능하게 하기 위해 적응형 분산 항목의 제곱근(예: √ṽ₂,t)을 포함하는 변환을 사용한다.
• 기대 누적 손실 차이를 최적 정책에서 제한하기 위해 기술적 회귀 분해 및 체인 소트 기법을 적용한다.
• 성장 제어 및 유한한 회귀 한계 유도를 위해 가중치와 기울기의 유계성 가정(예: W∞)을 사용한다.

실험 결과

연구 질문

• RQ1 최근 샘플의 이동 윈도우에 집중하는 회귀 지표가 무한한 데이터 스트림에서의 온라인 학습에 대해 더 현실적인 성능 평가를 제공할 수 있는가?
• RQ2 기존의 회귀가 아닌 이동 윈도우 지표를 사용할 경우, Adam과 같은 적응형 온라인 알고리즘에 대해 어떤 이론적 회귀 한계를 확립할 수 있는가?
• RQ3 이동 윈도우 회귀 프레임워크 하에서 두 층의 ReLU 신경망에서 O(√T)의 회귀를 달성할 수 있는가?
• RQ4 표준 온라인 경사 하강법과 비교해 비볼록 설정인 ReLU 네트워크에서 적응형 학습률은 어떻게 작용하는가?
• RQ5 표준 온라인 알고리즘은 이동 윈도우 회귀 지표 하에서 수렴을 유지하기 위해 어떤 수정이 필요한가?

주요 결과

• 제안된 convgAdam 알고리즘은 표준 점점 감소하는 학습률을 사용한 증명이 잘못되었음에도 불구하고, 이동 윈도우 지표 하에서 볼록 설정에서 O(√T)의 회귀 한계를 달성한다.
• 두 층의 ReLU 신경망에 대해 초기 가중치가 정적점에 가까운 경우, dnnAdam을 사용하여 동일한 O(√T)의 회귀 한계를 달성할 수 있다.
• 이론적 분석을 통해 회귀는 적응형 분산 항목의 제곱근 합에 비례하는 항으로 제한되며, 이는 O(√T)로 성장한다.
• 계산 실험을 통해 convgAdam 및 dnnAdam가 최신 비적응형 온라인 경사 하강법(OGD) 및 표준 Adam보다 수렴성과 안정성 측면에서 뛰어나다는 것이 입증된다.
• 분석을 통해 일정 또는 적응형 학습률이 이동 윈도우 회귀에서 필수적임을 확인하였으며, 감소하는 학습률은 무한 스트림에서 열악한 성능을 유도한다.
• 유도된 회귀 한계는 가중치와 기울기의 유계성(W∞)에 의존하며, 이는 제안된 알고리즘 프레임워크 하에서의 안정성을 보장한다.