[논문 리뷰] On Empirical Comparisons of Optimizers for Deep Learning

Dami Choi, Christopher J. Shallue외 4명|arXiv (Cornell University)|2019. 10. 11.

Advanced Neural Network Applications참고 문헌 57인용 수 185

한 줄 요약

이 논문은 하이퍼파라미터 튜닝 프로토콜이 옵티마이저 순위를 좌우하고, 옵티마이저 간 포함 관계(예: 적응 방법 vs 모멘텀)가 비교적 성능을 신뢰성 있게 예측한다는 것을 보여준다. 잘 튜닝된 적응 방법은 모멘텀이나 SGD보다 못한 성능을 내지 않는다고 주장한다.

ABSTRACT

Selecting an optimizer is a central step in the contemporary deep learning pipeline. In this paper, we demonstrate the sensitivity of optimizer comparisons to the hyperparameter tuning protocol. Our findings suggest that the hyperparameter search space may be the single most important factor explaining the rankings obtained by recent empirical comparisons in the literature. In fact, we show that these results can be contradicted when hyperparameter search spaces are changed. As tuning effort grows without bound, more general optimizers should never underperform the ones they can approximate (i.e., Adam should never perform worse than momentum), but recent attempts to compare optimizers either assume these inclusion relationships are not practically relevant or restrict the hyperparameters in ways that break the inclusions. In our experiments, we find that inclusion relationships between optimizers matter in practice and always predict optimizer comparisons. In particular, we find that the popular adaptive gradient methods never underperform momentum or gradient descent. We also report practical tips around tuning often ignored hyperparameters of adaptive gradient methods and raise concerns about fairly benchmarking optimizers for neural network training.

연구 동기 및 목표

• 딥 러닝에서 하이퍼파라미터 튜닝 프로토콜이 옵티마이저 순위에 미치는 영향을 평가한다.
• 현실적인 튜닝 예산에서 옵티마이저 간 포함 관계가 성립하는지 조사한다.
• 옵티마이저의 공정한 벤치마킹에 영향을 주는 실용적인 하이퍼파라미터 튜닝 고려사항을 식별한다.

제안 방법

• 다양한 하이퍼파라미터 탐색 공간에서 옵티마이저를 실험적으로 비교한다.
• 옵티마이저 간 포함 관계를 평가한다(적응 방법, 모멘텀, SGD).
• 튜닝 노력이 옵티마이저의 상대적 성능에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 하이퍼파라미터 탐색 공간이 딥 러닝에서 옵티마이저의 상대적 성능을 결정하는가?
• RQ2 현실적인 튜닝 예산에서 옵티마이저 간 포함 관계가 성립하는가?
• RQ3 잘 튜닝된 적응 방법이 모멘텀이나 SGD보다 못할 수 있나, 아니면 항상 그것들을 근접하게 모방하는가?
• RQ4 공정한 벤치마크를 위한 실용적인 하이퍼파라미터 튜닝 지침은 무엇인가?

주요 결과

• 하이퍼파라미터 튜닝 프로토콜이 옵티마이저 순위를 결정적으로 형성한다.
• 하이퍼파라미터 탐색 공간의 변동이 비교 연구의 결론을 반전시킬 수 있다.
• 튜닝이 허용될 때 적응 gradient 방법은 모멘텀이나 SGD보다 못하지 않는다.
• 옵티마이저 간 포함 관계는 실용적 비교를 신뢰성 있게 예측한다.
• 이 논문은 적응 그래디언트 방법의 튜닝에 대한 실용적인 팁을 제공하고 벤치마킹 관행에 주의한다.