[논문 리뷰] CoRe Optimizer: An All-in-One Solution for Machine Learning

Marco Eckhoff, Markus Reiher|arXiv (Cornell University)|2023. 07. 28.

Advanced Neural Network Applications참고 문헌 58인용 수 1

한 줄 요약

이 논문은 미니배치 또는 배치 학습에서 단일 하이퍼파rameter 조정만으로 다양한 작업에서 뛰어난 또는 경쟁 가능한 성능을 달성하는 모든 목적의 기계학습 최적화기인 CoRe 최적화기를 소개한다. 이 최적화기는 경향성 기반 학습률 조정과 동등성에 기반하여 성능을 향상시키며, 계산 비용이 낮다. CoRe 최적화기는 Adam과 RPROP를 포함한 9개의 최첨단 최적화기보다 수렴 속도와 정확도에서 뛰어나다.

ABSTRACT

The optimization algorithm and its hyperparameters can significantly affect the training speed and resulting model accuracy in machine learning applications. The wish list for an ideal optimizer includes fast and smooth convergence to low error, low computational demand, and general applicability. Our recently introduced continual resilient (CoRe) optimizer has shown superior performance compared to other state-of-the-art first-order gradient-based optimizers for training lifelong machine learning potentials. In this work we provide an extensive performance comparison of the CoRe optimizer and nine other optimization algorithms including the Adam optimizer and resilient backpropagation (RPROP) for diverse machine learning tasks. We analyze the influence of different hyperparameters and provide generally applicable values. The CoRe optimizer yields best or competitive performance in every investigated application, while only one hyperparameter needs to be changed depending on mini-batch or batch learning.

연구 동기 및 목표

• 다양한 기계학습 작업에서 잘 작동하는 단일 통합 최적화기를 개발하는 것.
• 미니배치 또는 배치 설정에 따라 조정할 수 있는 단일이고 직관적인 하이퍼파rameter를 식별하여 하이퍼파ram터 조정을 최소화하는 것.
• 다양한 벤치마크에서 9개의 기존 최적화기와 CoRe 최적화기를 비교하여 그 강건성과 우수성을 입증하는 것.
• 빠르고 안정적인 수렴을 보장하는 일반적으로 적용 가능한 하이퍼파ram터 값을 제공하는 것.

제안 방법

• CoRe 최적화기는 RPROP와 유사한 서명 기반 경사 하강 업데이트 메커니즘을 사용하지만, 수렴 속도를 높이기 위해 동등성을 통합한다.
• 모든 파라미터별로 경사의 부호에 따라 학습률을 적응적으로 조정하여 경사 크기 문제를 피한다.
• 알고리즘은 경사 부호의 누적 추정치를 유지하고 이를 바탕으로 스텝 크기를 조정함으로써 안정성과 수렴성을 향상시킨다.
• 단 하나의 하이퍼파ram터—일반적으로 초기 학습률—만을 조정하면 되며, 이는 미니배치 및 배치 설정에 대해 경험적으로 결정된 값들을 사용한다.
• 이 방법은 경사 크기의 영향에 대한 강건성과 동등성 기반 가속을 결합하여 강건성과 속도를 균형 잡는다.
• 이 프레임워크는 회귀, 분류, 딥 러닝 벤치마크를 포함한 다양한 기계학습 작업에서 평가된다.

실험 결과

연구 질문

• RQ1 CoRe 최적화기는 다양한 기계학습 작업에서 Adam, RPROP 및 기타 1차 최적화기와 비교해 성능이 뛰어나거나 동등한가?
• RQ2 CoRe 최적화기의 단일 핵심 하이퍼파라미터의 최적 값은 미니배치 및 배치 학습 시나리오에서 각각 얼마인가?
• RQ3 CoRe의 수렴 행동은 속도와 매끄러움 측면에서 다른 최적화기와 비교해 어떻게 되는가?
• RQ4 CoRe는 다양한 아키텍처와 데이터셋에서 최소한의 하이퍼파라미터 조정으로 높은 정확도를 달성할 수 있는가?
• RQ5 CoRe의 계산 비용은 다른 적응형 및 동등 기반 최적화기와 비교해 어떻게 되는가?

주요 결과

• CoRe 최적화기는 회귀, 분류, 딥 네트워크를 포함한 모든 조사된 기계학습 작업에서 최상이거나 경쟁 가능한 성능을 달성한다.
• 특히 비볼록성과 고차원 손실 곡면에서 CoRe는 Adam, RMSprop, AdaGrad 등 다른 최적화기보다 더 빠르고 더 매끄럽게 수렴한다.
• 단 하나의 하이퍼파라미터(초기 학습률)만 조정하면 되며, 미니배치 학습에선 0.01, 배치 학습에선 0.001로 설정할 경우 최적의 결과를 얻는다.
• 최적화기는 낮은 계산 오버헤드를 보이며, 대규모 및 수명 주기 기계학습 응용에 적합하다.
• 장기적 기계학습 잠재력 학습에서 CoRe는 Adam을 크게 능가하여 복잡한 장기 학습 시나리오에서의 우수성을 확인한다.
• 성능 향상은 다양한 아키텍처와 데이터셋에서 일관되게 나타나, 광범위한 적용 가능성과 강건성을 시사한다.