[논문 리뷰] HyperNOMAD: Hyperparameter optimization of deep neural networks using mesh adaptive direct search

Dounia Lakhmiri, Sébastien Le Digabel외 1명|arXiv (Cornell University)|2019. 07. 03.

Machine Learning and Data Classification참고 문헌 55인용 수 10

한 줄 요약

HyperNOMAD는 NOMAD 소프트웨어 내에서 메ッシュ 적응 직접 탐색(MADS) 알고리즘을 사용하여 딥 뉴럴 네트워크의 비미분 기반 초파rameter 최적화 프레임워크를 도입한다. 이 프레임워크는 동시에 아키텍처 및 최적화 초파rameter—포함하여 범주형 변수—를 최적화하여, MNIST에서 99.61%의 최고 성능 테스트 정확도와 CIFAR-10에서 92.54%의 성능을 달성하며, 불가능한 설정이 많은 어려운 검색 공간에서 베이지안 최적화와 무작위 탐색을 능가한다.

ABSTRACT

The performance of deep neural networks is highly sensitive to the choice of the hyperparameters that define the structure of the network and the learning process. When facing a new application, tuning a deep neural network is a tedious and time consuming process that is often described as a "dark art". This explains the necessity of automating the calibration of these hyperparameters. Derivative-free optimization is a field that develops methods designed to optimize time consuming functions without relying on derivatives. This work introduces the HyperNOMAD package, an extension of the NOMAD software that applies the MADS algorithm [7] to simultaneously tune the hyperparameters responsible for both the architecture and the learning process of a deep neural network (DNN), and that allows for an important flexibility in the exploration of the search space by taking advantage of categorical variables. This new approach is tested on the MNIST and CIFAR-10 data sets and achieves results comparable to the current state of the art.

연구 동기 및 목표

• 딥 뉴럴 네트워크의 초파라미터 튜닝 과정을 자동화하기 위해, 이는 복잡성과 시간 소모성으로 인해 종종 '어둠의 예술'로 묘사된다.
• 딥 러닝에서 혼합 정수 및 범주형 초파라미터 최적화의 과제를 해결하기 위해, 네트워크 아키텍처와 최적화기 설정을 포함한다.
• 기울기 정보에 의존하지 않고도 복잡한 비凸 검색 공간을 탐색할 수 있는 융통성 있고 비미분 기반 최적화 프레임워크를 개발한다.
• 기존 초파라미터 최적화 방법을 향상시키기 위해 고차원이고 조합적 검색 공간에서의 타당성과 수렴성을 보장한다.

제안 방법

• HyperNOMAD는 NOMAD 소프트웨어를 확장하여 딥 뉴럴 네트워크 초파라미터의 비미분 최적화에 메쉬 적응 직접 탐색(MADS) 알고리즘을 적용한다.
• 이 프레임워크는 네트워크 구축, 학습, 검증 및 테스트를 모두 봉인한 단일 블랙박스 함수로 전체 학습 및 평가 파이프라인을 취급한다.
• 실수, 정수, 범주형 초파라미터를 포함한 혼합 변수 최적화를 지원하여 다양한 네트워크 아키텍처와 학습 전략을 탐색할 수 있다.
• MADS 알고리즘은 메쉬 정밀도 전략을 사용하여 체계적이고 직접적인 탐색 방식으로 시험 점을 생성하고 평가함으로써 반복적으로 해를 향상시킨다.
• 검색 단계를 제약하여 불가능한 설정(예: 합성곱 레이어에서 크기가 0인 특징 맵을 유발하는 설정)을 피하는 방식으로 타당성을 보장한다.
• HyperNOMAD는 PyTorch 및 Caffe와 통합되어 있어 유연한 구현과 다른 초파라미터 최적화 도구와의 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 비미분 기반 최적화 프레임워크는 딥 뉴럴 네트워크의 아키텍처와 학습 초파라미터를 동시에 효과적으로 최적화할 수 있는가?
• RQ2 HyperNOMAD는 수렴 속도와 최종 모델 정확도 측면에서 베이지안 최적화와 무작위 탐색보다 어떻게 성능을 내는가?
• RQ3 한 번의 최적화 실행 동안 범주형 초파라미터를 얼마나 효과적으로 활용하여 다양한 신경망 아키텍처를 탐색할 수 있는가?
• RQ4 MADS 알고리즘은 제약 조건이 있는 고차원이고 조합적인 초파라미터 공간에서 탐색 중 타당성을 어떻게 유지하는가?
• RQ5 무작위 탐색과 베이지안 최적화가 자주 불가능한 설정을 생성하는 어려운 상황에서 HyperNOMAD는 기존 방법을 능가할 수 있는가?

주요 결과

• MNIST 데이터셋에서 HyperNOMAD는 100회의 블랙박스 평가 후 99.61%의 테스트 정확도를 달성했으며, TPE(99.17%)를 능가하고 무작위 탐색는 초깃값에서 향상되지 못했다.
• 기본 초깃값을 사용한 CIFAR-10에서 HyperNOMAD는 테스트 정확도 77.6%를 달성했으며, TPE(64.12%)를 크게 능가했고, 무작위 탐색는 초깃값 28.3%에서 향상되지 못했다.
• CIFAR-10에서 VGG-13 아키텍처로 초기화한 경우, HyperNOMAD는 최종 테스트 정확도 92.54%를 달성했고, TPE와 무작위 탐색 모두 향상되지 않았으며, 100회의 평가 중 타당한 구성은 각각 50개 뿐이었다.
• HyperNOMAD는 타당성 제어에서 뛰어난 성능을 보였으며, 50개의 평가된 점 전부가 유효했고, TPE와 무작위 탐색는 다수의 초파라미터를 동시에 변경함으로써 자주 불가능한 아키텍처를 샘플링했다.
• 이 프레임워크는 두 데이터셋에서 모두 모든 기준보다 뛰어난 성능을 보였으며, 혼합 변수 초파라미터 검색 공간에서의 강건성과 효율성을 입증했다.
• 결과는 MADS 기반 직접 탐색이 고차원이고 제약 조건이 복잡하며 비미분 가능한 목표 함수를 가진 초파라미터 최적화에 매우 효과적이라는 것을 시사한다.