[논문 리뷰] Optimizer Benchmarking Needs to Account for Hyperparameter Tuning

Prabhu Teja Sivaprasad, Florian Mai외 3명|arXiv (Cornell University)|2019. 10. 25.

Machine Learning and Data Classification참고 문헌 35인용 수 14

한 줄 요약

이 논문은 최적화기 벤치마킹에서 초모수 튜닝의 계산 비용을 고려해야 한다고 주장하며, 다양한 작업에서 자동 초모수 최적화를 사용한 공정한 평가 프레임워크를 제안한다. 결과적으로 Adam은 특히 학습률 튜닝만으로도 강건성과 튜닝 용이성 덕분에 저예산 환경에서조차 잘 튜닝된 SGD 변종을 능가하는 가장 실용적인 최적화기임을 보여준다.

ABSTRACT

The performance of optimizers, particularly in deep learning, depends considerably on their chosen hyperparameter configuration. The efficacy of optimizers is often studied under near-optimal problem-specific hyperparameters, and finding these settings may be prohibitively costly for practitioners. In this work, we argue that a fair assessment of optimizers' performance must take the computational cost of hyperparameter tuning into account, i.e., how easy it is to find good hyperparameter configurations using an automatic hyperparameter search. Evaluating a variety of optimizers on an extensive set of standard datasets and architectures, our results indicate that Adam is the most practical solution, particularly in low-budget scenarios.

연구 동기 및 목표

• 초모수 선택과 튜닝 노력에 대한 인간의 편향으로 인한 최적화기 벤치마킹의 공정성 부족 문제를 해결하기 위해.
• 초모수 탐색에 제한된 계산 예산이 주어졌을 때 최적화기가 얼마나 쉽게 우수한 성능을 달성할 수 있는지 평가하기 위해.
• 피크 성능 외에도 튜너블리티와 강건성 측면에서 적응형(예: Adam)과 비적응형(예: SGD 변종) 최적화기를 비교하기 위해.
• 실제 산업 및 연구 응용에서의 실용성을 반영하기 위해 초모수 최적화 비용을 벤치마킹에 포함할 것을 주장하기 위해.
• 초모수 공간과 탐색 설정 선택에 대한 인간 편향을 최소화하는 표준화된 자동 벤치마킹 프rotocol를 제공하기 위해.

제안 방법

• 시각, 자연어처리, 회귀, 분류를 포함한 9개의 다양한 딥러닝 작업에서의 벤치마킹을 수행한다.
• 수동 튜닝을 피하기 위해 고정된 탐색 예산을 가진 자동 초모수 최적화(HPO)를 사용해 최적화기 성능을 평가한다.
• 단변량 가족을 사용해 초모수 공간에 대한 사전 분포를 추정함으로써 탐색 공간 정의에 대한 인간 편향을 감소시킨다.
• 초모수 최적화(HPO) 예산을 다양하게 설정하여 최적화기를 비교한다: 최소(학습률만)에서 최종(모든 초모수)까지.
• 지정된 예산 내에서 잘 성능을 내는 설정을 찾을 확률을 평가하기 위해 확률적 성능 메트릭을 사용한다.
• 저예산 설정에서 성능을 향상시키기 위해 '효과적 학습률' 개념을 도입하고 평가한다. 이는 이전에 성공한 $(\gamma,\mu)$ 쌍의 정보를 활용하여 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 초모수 튜닝 비용이 벤치마킹에 고려될 경우 최적화기의 성능는 어떻게 변하는가?
• RQ2 초모수 탐색에 저예산이 주어졌을 때 어떤 최적화기가 가장 강건하고 실용적인가?
• RQ3 학습률만 튜닝하는 것으로도 최적 성능에 근접할 수 있는가, 아니면 전체 초모수 튜닝이 반드시 필요한가?
• RQ4 적응형 최적화기(예: Adam)와 비적응형 SGD 변종 간의 튜너블리티와 성능 안정성 측면에서의 비교는 어떻게 되는가?
• RQ5 복잡한 초모수 상호작용이 다양한 탐색 예산에서 최적화기 성능의 신뢰성에 얼마나 영향을 미치는가?

주요 결과

• Adam은 최소한의 튜닝 노력으로도 일관되게 높은 성능를 달성하며, 특히 학습률만 최적화하는 경우에 가장 실용적인 선택이 된다.
• Adam의 학습률만 튜닝해도 고예산 조건에서도 최고 성능에 비해 2-3% 이내의 성능를 기록하며 높은 신뢰성을 보여준다.
• SGD 변종은 일부 작업에서 피크 성능를 달성하지만, 광범위한 튜닝이 필요하여 초모수 공간에서 좁고 접근하기 어려운 국소 최적점에 빠지기 쉽다.
• Adam의 전체 초모수 튜닝은 성능을 더 향상시키지만 변동성이 크므로, 초모수 공간의 과도한 복잡성과 부드럽지 못한 구조를 시사한다.
• Adam의 초모수 표면는 SGD보다 더 넓고 강건하여, 적응형 방법이 튜닝하기 더 쉽다는 가설을 뒷받침한다.
• '효과적 학습률' 개념을 사용하면 이전에 성공한 $(\gamma,\mu)$ 쌍의 정보를 활용해 저예산 설정에서 성능을 향상시킬 수 있으며, 이는 향후 HPO 프레임워크에서 더 나은 사전 모델링 가능성을 시사한다.