[논문 리뷰] Hyperparameter Optimization via Sequential Uniform Designs

Zebin Yang, Aijun Zhang|arXiv (Cornell University)|2020. 09. 08.

Advanced Multi-Objective Optimization Algorithms참고 문헌 42인용 수 13

한 줄 요약

이 논문은 자동 기계 학습(AutoML)에서 하이퍼파rameter 최적화(HPO)를 위한 새로운 순차적 균일 설계(Sequential Uniform Design, SeqUD) 방법을 제안한다. 이 방법은 사전 모델링이나 획득 함수 최적화 없이 적응형이고 공간을 균일하게 메우는 설계 포인트를 활용한다. 다양한 기계 학습 작업에서 평가된 결과, SeqUD는 베이지안 최적화 및 기준 방법들을 능가하는 최신 기술 수준의 성능을 달성하였다. 이는 전역 최적화 및 실제 HPO 응용 분야 모두에서 성능이 뛰어나다.

ABSTRACT

Hyperparameter optimization (HPO) plays a central role in the automated machine learning (AutoML). It is a challenging task as the response surfaces of hyperparameters are generally unknown, hence essentially a global optimization problem. This paper reformulates HPO as a computer experiment and proposes a novel sequential uniform design (SeqUD) strategy with three-fold advantages: a) the hyperparameter space is adaptively explored with evenly spread design points, without the need of expensive meta-modeling and acquisition optimization; b) the batch-by-batch design points are sequentially generated with parallel processing support; c) a new augmented uniform design algorithm is developed for the efficient real-time generation of follow-up design points. Extensive experiments are conducted on both global optimization tasks and HPO applications. The numerical results show that the proposed SeqUD strategy outperforms benchmark HPO methods, and it can be therefore a promising and competitive alternative to existing AutoML tools.

연구 동기 및 목표

• 수동 조정이 비효율적이고 재현성이 떨어지는 자동 기계 학습(AutoML)에서 하이퍼파rameter 최적화(HPO)의 과제를 해결하기 위해.
• 비용이 많이 들거나 메타모델링이나 획득 함수 최적화에 의존하지 않고도 효율적이고 적응형으로 하이퍼파rameter 공간을 탐색할 수 있는 방법을 개발하기 위해.
• 병렬 평가를 지원하면서도 탐색 공간의 균일한 커버리지 유지로 수렴성과 강건성을 향상시키기 위해.
• 순차적 HPO에서 실시간으로 후속 설계 포인트를 효율적으로 생성할 수 있는 새로운 보완 균일 설계(Augmented Uniform Design, AugUD) 알고리즘을 도입하기 위해.

제안 방법

• SeqUD 방법은 HPO를 컴퓨터 실험으로 재정의하여, 각 하이퍼파rameter 설정을 입력으로, 모델 성능을 출력으로 간주한다.
• 순차적 균일 설계(SeqUD)를 사용하여 탐색 공간 전역에 균일하게 퍼져 있는 하이퍼파arameter 시험 배치를 생성함으로써 균일한 커버리지 보장.
• 기존 포인트들을 기반으로 새로운 설계 포인트를 효율적으로 생성할 수 있도록 보완 균일 설계(AugUD) 알고리즘을 개발함.
• 병렬 평가가 가능한 배치 단위의 설계 포인트 생성을 지원함으로써, 병렬 처리를 통해 계산 효율성 향상.
• 베이지안 최적화와 달리, SeqUD는 사전 모델링과 획득 최적화를 회피함으로써 계산 오버헤드 감소.
• 두 개의 오픈소스 파이썬 패키지인 PyUniDOE(균일 설계 생성용)와 SeqUD(HPO 워크플로우용)를 통해 구현함.

실험 결과

연구 질문

• RQ1 사전 모델링 없이도 기존의 베이지안 최적화 방법보다 순차적이고 공간을 균일하게 메우는 설계 전략이 하이퍼파aram터 튜닝에서 뛰어난 성능을 낼 수 있는가?
• RQ2 균일 설계 전략은 다단계에 걸쳐 거시적에서 미시적 방식으로 하이퍼파arameter 공간을 얼마나 효과적으로 적응적으로 탐색할 수 있는가?
• RQ3 제안된 AugUD 알고리즘은 순차적 HPO에서 새로운 설계 포인트를 실시간으로 효율적으로 생성하는 데 얼마나 기여하는가?
• RQ4 병렬 평가를 지원하는 배치 단위의 설계 포인트 생성 방식은 실제 기계 학습 응용 분야에서 효율성과 성능 향상에 얼마나 기여하는가?
• RQ5 예측 정확도와 수렴 속도 측면에서 SeqUD는 무작위 탐색, 격자 탐색, 소볼 수열과 비교해 어떻게 성능을 냈는가?

주요 결과

• SeqUD는 20개의 다양한 분류 및 회귀 데이터셋에서 베이지안 최적화 및 기준 방법들을 모두 능가하였으며, 20개 데이터셋 중 11개에서 평균 정확도가 가장 높았다.
• C1 데이터셋에서 SeqUD는 97.02 ± 0.55의 정확도를 기록하여, 다음으로 뛰어난 방법(96.77 ± 0.68)을 크게 앞서며 새로운 기준을 설정했다.
• C6 데이터셋에서 SeqUD는 99.75 ± 0.35의 정확도를 달성하여 모든 다른 방법들을 초월했으며, 고차원 설정에서도 강력한 강건성을 보였다.
• C11에서는 SeqUD가 90.52 ± 0.29를 기록하여 다음으로 뛰어난 방법(89.83 ± 1.62)보다 뛰어나 성능 안정성을 입증했다.
• C20에서는 SeqUD가 92.71 ± 0.44를 기록하여 두 번째로 뛰어난 방법(91.04 ± 4.21)을 크게 앞서며 노이즈가 많거나 복잡한 데이터셋에서도 뛰어난 성능을 보였다.
• 모든 20개 데이터셋에서 SeqUD는 가장 높은 중앙값 정확도와 12개 데이터셋에서 가장 낮은 분산을 기록하여 강건성과 일반화 능력이 뛰어나다는 것을 확인했다.