[논문 리뷰] Parallel Architecture and Hyperparameter Search via Successive Halving and Classification

M. N. Anil Kumar, George E. Dahl외 2명|arXiv (Cornell University)|2018. 05. 25.

Machine Learning and Data Classification참고 문헌 39인용 수 15

한 줄 요약

이 논문은 단순하면서도 효과적인 병렬 블랙박스 최적화 알고리즘인 SHAC을 제안한다. SHAC은 순차적인 이진 분류기의 쌓임을 통해 탐색 공간의 생산성이 떨어지는 영역을 반복적으로 잘라내며, 하이퍼파라미터 및 아키텍처 탐색에서 랜덤 서치보다 두 배의 예산을 사용할 때도 슈퍼리오어하고, NAS-PPO와 같은 경쟁 기반 알고리즘과도 경쟁력을 갖춘다. 이 알고리즘은 하이퍼파라미터 조정이 필요 없으며, 후보 솔루션의 다양성을 유지한다.

ABSTRACT

We present a simple and powerful algorithm for parallel black box optimization called Successive Halving and Classification (SHAC). The algorithm operates in $K$ stages of parallel function evaluations and trains a cascade of binary classifiers to iteratively cull the undesirable regions of the search space. SHAC is easy to implement, requires no tuning of its own configuration parameters, is invariant to the scale of the objective function and can be built using any choice of binary classifier. We adopt tree-based classifiers within SHAC and achieve competitive performance against several strong baselines for optimizing synthetic functions, hyperparameters and architectures.

연구 동기 및 목표

• 하이퍼파라미터 조정이 필요 없고 고차원 탐색 공간으로도 확장 가능한 강력한 병렬 블랙박스 최적화 알고리즘을 개발하기 위해.
• 현재 강력한 기준이 되는 랜덤 서치를 개선하기 위해, 후보 솔루션의 다양성을 유지하면서도 생산성이 떨어지는 영역을 체계적으로 잘라내기 위해.
• 실제 머신러닝 응용 프로그램에서 효율적이고 실용적인 신경망 아키텍처 및 하이퍼파라미터 탐색을 가능하게 하기 위해.
• 향후 자동화된 머신러닝 및 신경망 아키텍처 탐색 분야의 연구를 위한 단순하고 재사용 가능한 기반 제공을 위해.

제안 방법

• SHAC은 K개의 단계로 구성되며, 각 단계에서 이진 분류기가 성능에 따라 후보 포인트의 절반을 걸러낸다.
• 알고리즘은 K개의 이진 분류기의 쌓임을 유지하며, 각 분류기는 이전 단계의 결과를 기반으로 학습하여 탐색 공간을 원래 크기의 1/2^K로 점차 좁힌다.
• 최종 분류기 이후, 남은 후보들은 생존 영역에서 거부 샘플링을 통해 선택되어 다양성을 보장한다.
• 이 방법은 목표 함수의 척도에 불변하며, 어떤 이진 분류기와도 조합 가능하며, 단순성과 일관성을 고려해 기울기 부스팅 트리를 권장한다.
• 각 단계에서 후보 포인트의 병렬 평가를 지원하여 계산 자원을 효율적으로 활용할 수 있다.
• 블랙박스 최적화를 회귀가 아닌 분류 문제로 접근함으로써, 높은 성능을 보이는 영역와 낮은 성능을 보이는 영역를 구분하는 데 집중한다.

실험 결과

연구 질문

• RQ1 단순하고 튜닝이 불필요한 알고리즘이 하이퍼파라미터 및 아키텍처 탐색에서 랜덤 서치와 기존 NAS 방법을 능가할 수 있는가?
• RQ2 반복적인 잘라내기에도 불구하고 SHAC은 후보 솔루션의 다양성을 어떻게 유지하는가?
• RQ3 SHAC의 성능는 다양한 탐색 공간 크기와 목표 함수에 대해 어느 정도 확장 가능한가?
• RQ4 프록시 목표(예: 초기 학습 정확도)가 최종 목표와 약하게 상관관계가 있을 경우 SHAC의 효과는 어떠한가?
• RQ5 SHAC는 자동화된 머신러닝 연구를 위한 실용적이고 강력한 기반으로 기능할 수 있는가?

주요 결과

• 하이퍼파라미터 튜닝에서 SHAC는 CIFAR-10과 CIFAR-100에서 RS-2X(두 배의 예산을 사용하는 랜덤 서치)를 뚜렷이 능가하며, 더 높은 검증 정확도를 달성한다.
• 아키텍처 탐색에서 SHAC는 NAS-PPO와 경쟁성 있는 성능을 보이며, RS-2X를 능가하고 다양한 데이터셋에 걸쳐 강력한 일반화 능력을 보여준다.
• CIFAR-10에서 SHAC는 300 에포크 후 테스트 정확도 95.91%를 기록했으며, NAS-PPO는 95.87%, RS는 95.67%였다.
• CIFAR-100에서 SHAC는 테스트 정확도 79.80%를 기록했으며, NAS-PPO(79.93%)와 RS(79.59%)를 모두 능가했다.
• 쌍별 해밍 거리 히스토GRAM은 SHAC와 랜덤 서치가 NAS-PPO보다 더 다양한 후보 목록을 생성하며, 모드가 오른쪽으로 10단위 이동했다.
• 초기(프록시) 및 최종(실제) 지표 간 상관관계가 약할지라도 SHAC는 강력한 성능 유지를 유지하여, 노이즈가 많거나 충실도가 떨어지는 프록시 목표에 대해 뛰어난 내성성을 보였다.