[논문 리뷰] Better call Surrogates: A hybrid Evolutionary Algorithm for Hyperparameter optimization

Subhodip Biswas, Adam D. Cobb외 3명|arXiv (Cornell University)|2020. 12. 11.

Advanced Multi-Objective Optimization Algorithms참고 문헌 17인용 수 10

한 줄 요약

이 논문은 초기 탐색을 위해 반경 기반 함수(RBF)를 사용하고, 이후 과도한 평가 비용이 발생하는 하이퍼파rameter 최적화 작업에서 표본 효율성과 성능을 향상시키기 위해 RBF 대체 모델링, 베이지안 최적화(BO), 그리고 미분 진화(DE)를 융합한 하이브리드 진화 알고리즘인 SteaDE를 제안한다. RBF를 통해 탐색 공간을 탐색한 후, 새로운 베이지안 돌연변이 메커니즘을 갖춘 DE에 기반한 GP-기반 BO 프레임워크로 지식을 전이함으로써 SteaDE는 낮은 예산 조건에서의 하이퍼파rameter 최적화 작업에서 독립적인 BO, DE, RBF 방법보다 뛰어난 표본 효율성과 성능을 달성하였다. 이는 NeurIPS 2020 블랙박스 최적화 챌린지에서 입증되었다.

ABSTRACT

In this paper, we propose a surrogate-assisted evolutionary algorithm (EA) for hyperparameter optimization of machine learning (ML) models. The proposed STEADE model initially estimates the objective function landscape using RadialBasis Function interpolation, and then transfers the knowledge to an EA technique called Differential Evolution that is used to evolve new solutions guided by a Bayesian optimization framework. We empirically evaluate our model on the hyperparameter optimization problems as a part of the black box optimization challenge at NeurIPS 2020 and demonstrate the improvement brought about by STEADE over the vanilla EA.

연구 동기 및 목표

• 목적 함수 평가가 비용이 많이 들고, 미분 정보가 없는 기계학습에서 하이퍼파rameter 최적화(HPO) 문제를 해결하기 위해.
• 대체 모델과 진화 알고리즘의 융합을 통해 낮은 예산 최적화 환경에서의 표본 효율성을 향상시키기 위해.
• 시간이 지남에 따라 적응하는 하이브리드 프레임워크에서 탐색(ROF 및 BO를 통해)과 이용(DE를 통해)의 균형을 맞추기 위해.
• RBF에서 유도된 지식을 과도한 평가가 필요한 블랙박스 최적화 문제에 적용하는 데 효과적인 지식 전이 전략의 유효성을 입증하기 위해.
• 엄격한 계산 제약 조건 하에서 실세계 기계학습 하이퍼파rameter 튜닝에 적합한 확장성 있고 효율적이며 강건한 최적화 방법을 제공하기 위해.

제안 방법

• SteaDE는 초기 실험 설계(예: 대칭 라틴 하이퍼큐브 샘플링(SLHD))를 사용하여 목적 함수의 경계를 추정하기 위해 반경 기반 함수(RBF) 대체 모델을 사용한다.
• 그 후, 과도한 평가가 비용이 많이 들기 때문에, qEI와 같은 획득 함수를 사용하여 정보 기반 샘플링을 유도하는 가우시안 프로세스(GP) 대체 모델 기반의 베이지안 최적화(BO) 프레임워크로 전환한다.
• 미분 진화(DE)에 통합된 새로운 베이지안 돌연변이 메커니즘은 BO가 생성한 해, RBF가 생성한 해, 그리고 DE 기반의 전역 대비 국소 탐색 항목을 조합하여 기부 벡터를 생성한다.
• 돌연변이 식은 BO 기반 탐색, RBF 기반 다양성, 시간에 따라 감쇠되는 무작위 성분을 통합하여 전역 탐색과 국소 탐색의 균형을 맞춘다.
• 병렬적으로 다수의 점을 효율적으로 제안하기 위해 하이브리드 획득 함수(qEI에 무작위 순차 quasi-Monte Carlo 샘플링을 통합)를 사용하여 계산 효율성을 향상시킨다.
• 초기 RBF 기반 탐색 이후, 알고리즘은 베이지안 돌연변이를 갖춘 DE 기반 탐색으로 전환되며, 인구 집단의 다양성을 유지하면서도 유망한 영역에 집중한다.

실험 결과

연구 질문

• RQ1 대체 모델링과 진화 알고리즘의 융합을 통해 낮은 예산 하의 하이퍼파arameter 최적화에서 표본 효율성을 향상시킬 수 있는가?
• RQ2 RBF 대체 모델에서 유도된 지식을 GP 기반 베이지안 최적화 프레임워크로 전이할 경우 최적화 성능에 어떤 영향을 미치는가?
• RQ3 계산 비용이 많이 드는 블랙박스 최적화 문제에 베이지안 돌연변이 메커니즘을 DE에 통합할 경우 어떤 영향을 미치는가?
• RQ4 엄격한 시간 제약과 함수 평가 제약 조건 하에서, SteaDE는 독립적인 BO, DE, RBF 방법과 비교해 수렴성과 일반화 성능 측면에서 어떻게 다른가?
• RQ5 대체 모델 기반 탐색에서 진화 기반 탐색으로의 동적 전환은 비선형성과 다모드성을 띤 고비용 하이퍼파arameter 최적화 문제에서 성능 향상에 기여하는가?

주요 결과

• SteaDE는 NeurIPS 2020 블랙박스 최적화 챌린지에서 랭킹 점수 98.6963을 기록하여 BO(96.8487), DE(97.1833), RBF(98.0024)를 뛰어넘었다.
• 정규화된 평균 가시성 지표(visible_to_opt) 측면에서 SteaDE는 0.15463을 기록했으며, 이는 BO(0.37376), DE(0.33408), RBF(0.23693)보다 낮아 더 뛰어난 최적화 성능을 의미한다.
• 그림 1의 수렴 프로파일은 초기 반복 단계에서 RBF 기반 탐색으로 인해 정보 기반 탐색이 가능해져 SteaDE가 DE보다 뛰어난 성능을 보였으며, DE의 무작위 돌연변이는 초기 효율성이 낮아졌다.
• SteaDE는 중앙값 일반화 점수 2.51204를 기록했으며, BO(2.36782)와 DE(2.5)보다 略 높아, 미리 보지 않은 데이터에 대한 강건성 향상을 보였다.
• 제거 분석 결과, RBF, BO, DE 요소의 하이브리드 조합이 가장 뛰어난 성능을 냈으며, 각 요소가 전체 성공에 독자적인 기여를 했다.
• 제안된 베이지안 돌연변이 메커니즘은 탐색과 이용의 균형을 효과적으로 유지하며, $1/G$ 항이 세대가 지남에 따라 전역 탐색에서 국소 탐색으로의 전환을 가능하게 하였다.