[논문 리뷰] AutoHAS: Efficient Hyperparameter and Architecture Search

Xuanyi Dong, Mingxing Tan외 4명|arXiv (Cornell University)|2020. 06. 05.

Machine Learning and Data Classification참고 문헌 43인용 수 24

한 줄 요약

AutoHAS는 가중치 공유를 사용하는 강화학습을 통해 종합적인 하이퍼파ram터 및 신경망 아키텍처 탐색을 위한 통합적이고 효율적인 프레임워크이다. 이는 공유된 네트워크 가중치와 아키텍처 및 하이퍼파ram터 설정을 샘플링하는 컨트롤러를 번갈아가며 최적화하며, CIFAR-10/100, ImageNet, Places365에서 메모리 비용을 크게 줄인 채로 상태의 최고 성능을 달성한다. 이는 덜 최적화된 모델에서 최대 11.4%의 정확도 향상과, 매우 최적화된 모델인 EfficientNet-B0에서 0.8%의 정확도 향상을 기록한다.

ABSTRACT

Efficient hyperparameter or architecture search methods have shown remarkable results, but each of them is only applicable to searching for either hyperparameters (HPs) or architectures. In this work, we propose a unified pipeline, AutoHAS, to efficiently search for both architectures and hyperparameters. AutoHAS learns to alternately update the shared network weights and a reinforcement learning (RL) controller, which learns the probability distribution for the architecture candidates and HP candidates. A temporary weight is introduced to store the updated weight from the selected HPs (by the controller), and a validation accuracy based on this temporary weight serves as a reward to update the controller. In experiments, we show AutoHAS is efficient and generalizable to different search spaces, baselines and datasets. In particular, AutoHAS can improve the accuracy over popular network architectures, such as ResNet and EfficientNet, on CIFAR-10/100, ImageNet, and four more other datasets.

연구 동기 및 목표

• 기존의 하이퍼파ram터 및 아키텍처 탐색 방법이 단일 요소만 다루는 비효율성과 일반성 부족 문제를 해결하기 위해.
• 하이퍼파ram터 및 아키텍처 탐색을 하나의 효율적이고 확장 가능한 프레임워크로 통합하기 위해.
• 탐색 과정에서 메모리 및 계산 비용을 줄이면서도 높은 정확도 향상을 유지하기 위해.
• 하나의 탐색 과정에서 자동으로 최적의 하이퍼파ram터(예: 학습률, 드롭아웃, 미크서업)와 아키텍처를 발견할 수 있도록 하기 위해.
• 가중치 공유 기법을 아키텍처 탐색을 넘어서 하이퍼파ram터 탐색으로 확장하여 더 빠른 수렴과 더 나은 초기화를 가능하게 하기 위해.

제안 방법

• AutoHAS는 모든 아키텍처 및 하이퍼파ram터 설정에 걸쳐 공유된 가중치를 갖는 슈퍼모델을 사용하여, 다시 시작하지 않고도 효율적인 훈련을 가능하게 한다.
• 강화학습 컨트롤러가 아키텍처 및 하이퍼파라미터 후보를 샘플링하며, 선택에 대한 확률 분포는 정책 최적화를 통해 학습된다.
• 임시 가중치를 도입하여 특정 하이퍼파라미터 설정 하에서의 모델 상태를 저장함으로써, 검증 정확도를 보상 신호로 활용한다.
• 연속형 하이퍼파라미터(예: 학습률)는 범주형 기저 벡터의 선형 조합으로 이산화되어, 범주형 및 연속형 변수의 검색 공간을 통합한다.
• 컨트롤러는 REINFORCE 알고리즘을 사용해 최적화되며, 각 단계에서 슈퍼모델의 일부만 훈련함으로써 기저선 탐색의 높은 메모리 비용을 피한다.
• 가중치 공유 기법이 아키텍처 및 하이퍼파라미터 공간 전반에 걸쳐 확장되어, 공유된 가중치가 모든 후속 탐색 단계의 강력한 초기화로 기능한다.

실험 결과

연구 질문

• RQ1 하나의 통합 프레임워크로 신경망 아키텍처와 하이퍼파라미터를 효율적으로 탐색할 수 있는가?
• RQ2 기존의 아키텍처나 하이퍼파라미터 탐색 전용 방법과 비교해 AutoHAS는 효율성과 정확도 면에서 어떻게 성과를 내는가?
• RQ3 AutoHAS는 수동으로 조정하기 어려운 하이퍼파라미터 설정(예: 드롭아웃 비율)을 발견할 수 있는가?
• RQ4 아키텍처 및 하이퍼파라미터 공간 전반에 걸친 가중치 공유 통합이 더 나은 일반화 및 확장성으로 이어지는가?
• RQ5 EfficientNet-B0와 같은 대규모 모델에서 REINFORCE 기반 탐색의 메모리 효율성은 기저선 탐색과 어떻게 비교되는가?

주요 결과

• AutoHAS는 종합적인 아키텍처 및 하이퍼파라미터 탐색을 통해 매우 최적화된 EfficientNet-B0 기준보다 ImageNet의 Top-1 정확도를 0.8% 향상시켰다.
• 덜 최적화된 Oxford-Flowers 데이터셋에서는 AutoHAS가 기준 모델 대비 11.4%의 정확도 향상을 기록했다.
• Places365에서 AutoHAS는 EfficientNet-B0의 정확도를 1% 향상시켜 단일 캡처 평가에서 새로운 최고 성능 기록을 수립했다.
• AutoHAS는 기저선 탐색 방법 대비 메모리 비용을 70% 감소시켜 ResNet-50 및 EfficientNet-B0와 같은 대규모 모델에서의 확장 가능한 탐색을 가능하게 했다.
• AutoHAS는 EfficientNet-B0의 여러 레이어에서 수동으로 조정하기 어려운 최적의 드롭아웃 비율을 발견했으며, 시각화 결과는 비균일하고 레이어별 최적의 값이 있음을 확인했다.
• AutoHAS는 기저선 탐색과 유사한 정확도 향상을 달성했지만, 훨씬 낮은 메모리 사용량을 기록하여 더 큰 모델과 더 넓은 탐색 공간에서의 적용 가능성을 확보했다.