[논문 리뷰] A Population-based Hybrid Approach to Hyperparameter Optimization for Neural Networks

Marcello Serqueira, Pedro Arcos González외 1명|arXiv (Cornell University)|2020. 11. 22.

Machine Learning and Data Classification인용 수 7

한 줄 요약

이 논문은 신경망 하이퍼파rameter 공간을 효율적으로 탐색하기 위해 편향된 랜덤 키 유전적 알고리즘(BRKGA)과 랜덤 워크 전략을 결합한 하이브리드 하이퍼파rameter 최적화 방법인 HBRKGA를 제안한다. 여덟 개의 데이터셋에서 평가한 결과, HBRKGA는 격자 탐색, 랜덤 탐색, 베이지안 최적화, CMA-ES와 비교해 여섯 개의 데이터셋에서 뛰어난 F₁ 스코어를 기록했으며, 세 개의 데이터셋에서는 통계적으로 유의미한 향상을 보였다. 이는 인구 기반 접근 방식에 국소 탐색을 통합함으로써 효과적인 최적화가 가능하다는 것을 보여준다.

ABSTRACT

In recent years, large amounts of data have been generated, and computer power has kept growing. This scenario has led to a resurgence in the interest in artificial neural networks. One of the main challenges in training effective neural network models is finding the right combination of hyperparameters to be used. Indeed, the choice of an adequate approach to search the hyperparameter space directly influences the accuracy of the resulting neural network model. Common approaches for hyperparameter optimization are Grid Search, Random Search, and Bayesian Optimization. There are also population-based methods such as CMA-ES. In this paper, we present HBRKGA, a new population-based approach for hyperparameter optimization. HBRKGA is a hybrid approach that combines the Biased Random Key Genetic Algorithm with a Random Walk technique to search the hyperparameter space efficiently. Several computational experiments on eight different datasets were performed to assess the effectiveness of the proposed approach. Results showed that HBRKGA could find hyperparameter configurations that outperformed (in terms of predictive quality) the baseline methods in six out of eight datasets while showing a reasonable execution time.

연구 동기 및 목표

• 딥 네ural 네트워크에서 크고 고차원적인 하이퍼파rameter 공간을 효율적으로 탐색하는 데 도전하는 것.
• 격자 탐색과 랜덤 탐색과 같은 전통적인 하이퍼파arameter 최적화 방법을 향상시키기 위해 지능적인 탐색 전략을 통합하는 것.
• 진화 알고리즘과 국소 탐색 히وري스틱을 결합한 하이퍼파라미터 튜닝의 효과성을 평가하는 것.
• 랜덤 워크 구성 요소가 하이브리드 알고리즘 성능에 미치는 영향을 조사하는 것.
• 베이지안 최적화와 CMA-ES에 대체로 경쟁력 있고 효율적인 신경망 하이퍼파라미터 튜닝 방법을 제공하는 것.

제안 방법

• HBRKGA는 하이퍼파라미터 공간 내 국소 탐색을 향상시키기 위해 편향된 랜덤 키 유전적 알고리즘(BRKGA)과 랜덤 워크 기법을 결합한다.
• 각 개체는 고정된 스텝 수로 랜덤 워크를 통해 변형되어 인접한 구성 요소를 탐색한다.
• 선택과 진화를 이끄는 데는 검증 세트에서의 모델 성능(F₁ 스코어)을 기반으로 한 적합도 함수를 사용한다.
• 각 세대에 인구 기반 선택, 교차, 돌연변이가 적용되어 더 나은 하이퍼파라미터 구성 요소를 진화시킨다.
• 매번 새로운 해가 생성된 후 랜덤 워크가 적용되어 다양성이 증가하고 국소 수렴성이 향상된다.
• 기준 방법과의 공정한 비교를 보장하기 위해 각 실행에서 고정된 수의 모델 평가를 사용한다.

실험 결과

연구 질문

• RQ1 표준 BRKGA와 비교해 BRKGA에 랜덤 워크를 통합함으로써 하이퍼파라미터 최적화 성능이 향상되는가?
• RQ2 예측 성능와 계산 효율성 측면에서 HBRKGA는 격자 탐색, 랜덤 탐색, 베이지안 최적화, CMA-ES와 어떻게 비교되는가?
• RQ3 랜덤 워크 구성 요소가 HBRKGA의 전체 성능에 기여하는 정도는 어떠한가?
• RQ4 HBRKGA는 다양한 분류 데이터셋에서 F₁ 스코어에 통계적으로 유의미한 향상을 이룰 수 있는가?
• RQ5 HBRKGA는 다양한 신경망 아키텍처와 데이터 분포에 대해 확장 가능하고 견고한가?

주요 결과

• HBRKGA는 여덟 개 데이터셋 중 여섯 개에서 모든 기준 방법보다 높은 평균 F₁ 스코어를 기록했다.
• 세 개의 데이터셋에서 Wilcoxon 부호 순위 검정을 통해 HBRKGA가 다른 방법보다 통계적으로 유의미한 F₁ 스코어 향상을 보였다.
• 제거 분석 결과, 랜덤 워크를 포함한 HBRKGA(3)는 평균 F₁ 스코어 0.980 ± 0.00285를 기록했으며, 랜덤 워크 없이 HBRKGA는 0.975 ± 0.00195를 기록해 유의미하게 높은 성능를 보였다.
• 랜덤 워크 구성 요소는 해의 수가 증가했음에도 불구하고 더 나은 탐색과 높은 성능에 기여했다.
• HBRKGA는 합리적인 실행 시간을 유지했으며, 베이지안 최적화와 같은 계산 비용이 높은 방법보다 뛰어난 성능를 보였고, CMA-ES와 비교해 성능가능하거나 이를 초월했다.
• HBRKGA는 MNIST, Fashion-MNIST, COSMOS, 그리고 합성 직사각형 데이터를 포함한 다양한 데이터셋에서 견고성을 보였다.