[논문 리뷰] Hyper-Parameter Optimization: A Review of Algorithms and Applications

Tong Yu, Hong Zhu|arXiv (Cornell University)|2020. 03. 12.

Advanced Multi-Objective Optimization Algorithms참고 문헌 123인용 수 450

한 줄 요약

이 논문은 신경망의 하이퍼파라미터 최적화(HPO)에 대해 조사하고, 핵심 하이퍼파라미터, 탐색 알고리즘, 실험 스케줄러, 도구 키트, 그리고 딥 러닝 맥락의 과제들을 상세히 다룬다.

ABSTRACT

Since deep neural networks were developed, they have made huge contributions to everyday lives. Machine learning provides more rational advice than humans are capable of in almost every aspect of daily life. However, despite this achievement, the design and training of neural networks are still challenging and unpredictable procedures. To lower the technical thresholds for common users, automated hyper-parameter optimization (HPO) has become a popular topic in both academic and industrial areas. This paper provides a review of the most essential topics on HPO. The first section introduces the key hyper-parameters related to model training and structure, and discusses their importance and methods to define the value range. Then, the research focuses on major optimization algorithms and their applicability, covering their efficiency and accuracy especially for deep learning networks. This study next reviews major services and toolkits for HPO, comparing their support for state-of-the-art searching algorithms, feasibility with major deep learning frameworks, and extensibility for new modules designed by users. The paper concludes with problems that exist when HPO is applied to deep learning, a comparison between optimization algorithms, and prominent approaches for model evaluation with limited computational resources.

연구 동기 및 목표

• 신경망 성능과 학습 효율에 영향을 미치는 주요 하이퍼파라미터를 식별하고 분류한다.
• 기존 HPO 알고리즘을 검토하고 딥 러닝에의 적용 가능성을 비교한다.
• 현재의 HPO 서비스 및 도구 키트가 탐색 전략 지원 및 프레임워크와의 통합 측면에서 어떤 지원을 하는지 평가한다.
• 딥 러닝 응용에서의 HPO의 실질적 과제와 향후 방향을 강조한다.

제안 방법

• 하이퍼파라미터를 학습 관련과 모델 설계 관련으로 분류하여 체계적인 HPO 논의를 구성한다.
• 딥 러닝에서 효율성과 정확성을 위한 최적화 알고리즘과 trial scheduler를 분석하고 비교한다.
• 주류 HPO 도구 키트와 서비스를 조사하고 기능, 딥 러닝 프레임워크와의 호환성, 확장성을 평가한다.
• 제한된 계산 자원에서의 모델 평가 전략을 논의하고 최적화 접근법을 비교한다.

실험 결과

연구 질문

• RQ1 신경망 학습 및 설계에서 가장 영향력 있는 하이퍼파라미터는 무엇이며, 이들의 탐색 공간은 어떻게 정의되어야 하는가?
• RQ2 주요 HPO 알고리즘과 trial scheduler는 무엇이며, 효율성과 정확성 측면에서 어떻게 비교되는가?
• RQ3 현행 HPO 도구 및 서비스는 최첨단 탐색 방법과 프레임워크 통합 측면에서 어떤 지원을 제공하는가?
• RQ4 딥 러닝에 HPO를 적용할 때 어떤 문제점이 발생하며, 향후 연구에 어떤 방향이 유망한가?

주요 결과

• 하이퍼파라미터가 구조 관련과 학습 관련으로 체계적으로 분류되어 타깃이 되는 HPO를 돕는다.
• 정밀한 분석은 정확도, 효율성, 적용 가능성에 따라 HPO 알고리즘을 비교하고 다양한 시나리오의 한계를 해명한다.
• 도구 키트와 서비스의 대조를 통해 폐쇄형 소스와 오픈 소스 옵션의 설계 선택과 대상 사용자를 밝힌다.
• 논문은 딥 러닝에 HPO를 적용할 때의 실용적 문제점과 계산 자원 제약 하에서의 효율적인 모델 평가를 강조한다.
• 이 리뷰는 최적화 알고리즘, 탐색 전략, 자동화 머신러닝(AutoML)의 역할을 다루며 상당한 계산 자원을 요구하는 한편 인간 작업의 부담을 줄인다.