[논문 리뷰] AutoHAS: Differentiable Hyper-parameter and Architecture Search.

Xuanyi Dong, Mingxing Tan외 4명|arXiv (Cornell University)|2020. 06. 05.

Advanced Neural Network Applications참고 문헌 44인용 수 17

한 줄 요약

AutoHAS는 연속적인 하이퍼파ram터를 범주형 기저 벡터의 선형 조합으로 모델링하여, 모든 구성에 걸쳐 효율적인 가중치 공유를 가능하게 함으로써 신경망 아키텍처와 하이퍼파ram터를 동시에 최적화하는 미분 가능한 접근법을 제안한다. 이는 단일 모델 학습 수준의 검색 비용을 유지하면서 ImageNet에서 최대 2%의 정확도 향상과 SQuAD 1.1에서 F1 점수 0.4 향상을 달성하며, 기존의 랜덤 서치 및 베이지안 최적화 대비 계산 효율성에서 10배 향상된다.

ABSTRACT

Neural Architecture Search (NAS) has achieved significant progress in pushing state-of-the-art performance. While previous NAS methods search for different network architectures with the same hyper-parameters, we argue that such search would lead to sub-optimal results. We empirically observe that different architectures tend to favor their own hyper-parameters. In this work, we extend NAS to a broader and more practical space by combining hyper-parameter and architecture search. As architecture choices are often categorical whereas hyper-parameter choices are often continuous, a critical challenge here is how to handle these two types of values in a joint search space. To tackle this challenge, we propose AutoHAS, a differentiable hyper-parameter and architecture search approach, with the idea of discretizing the continuous space into a linear combination of multiple categorical basis. A key element of AutoHAS is the use of weight sharing across all architectures and hyper-parameters which enables efficient search over the large joint search space. Experimental results on MobileNet/ResNet/EfficientNet/BERT show that AutoHAS significantly improves accuracy up to 2% on ImageNet and F1 score up to 0.4 on SQuAD 1.1, with search cost comparable to training a single model. Compared to other AutoML methods, such as random search or Bayesian methods, AutoHAS can achieve better accuracy with 10x less compute cost.

연구 동기 및 목표

• 기존의 NAS 방법이 아키텍처 전반에 걸쳐 하이퍼파ram터를 고정하는 데에 한계가 있음을 해결하기 위해.
• 이산적인 아키텍처와 연속적인 하이퍼파ram터를 통합된, 미분 가능한 프레임워크에서 동시에 검색할 수 있도록 하기 위해.
• 높은 정확도 향상을 유지하면서도 검색 비용을 단일 모델 학습 수준으로 낮추기 위해.
• 비전 및 NLP 벤치마크에서 아키텍처와 하이퍼파라미터를 동시에 최적화하여 모델 성능을 향상시키기 위해.
• 가중치 공유와 미분 가능한 연산을 활용하여 아키텍처와 하이퍼파라미터의 거대한 통합 검색 공간을 효율적으로 탐색할 수 있는 방법 개발하기 위해.

제안 방법

• AutoHAS는 연속적인 하이퍼파라미터 공간을 범주형 기저 벡터의 선형 조합으로 이산화하여, 연속적이고 이산적 검색 공간 양쪽 모두에 대해 미분 가능한 최적화를 가능하게 한다.
• 이 방법은 아키텍처 선택(범주형)과 하이퍼파라미터(연속형)의 조합으로 이루어진 통합 검색 공간을 정의하며, 기저 벡터 계수의 기울기를 통한 기울기 기반 최적화를 허용하는 미분 가능한 리 릴랙싱을 사용한다.
• 모든 아키텍처 및 하이퍼파라미터 구성 간에 가중치 공유를 적용하여 통합 검색 공간 평가의 계산 비용을 크게 감소시킨다.
• 아키텍처 공간의 연속적 리 릴랙싱을 사용한 미분 가능한 아키텍처 검색과 함께, 기저 벡터 계수에 대한 기울기 하강법을 통해 하이퍼파라미터를 최적화한다.
• 이 방법은 아키텍처와 하이퍼파라미터를 엔드 투 엔드 백프로파게이션을 통해 동시에 최적화하는 단일 미분 가능한 검색 프로세스를 사용한다.
• 최종 모델은 미분 가능한 검색 과정 동안 발견된 최고 성능을 보인 아키텍처-하이퍼파라미터 구성에서 선택된다.

실험 결과

연구 질문

• RQ1 아키텍처와 하이퍼파라미터를 동시에 최적화하는 것이 별도로 또는 고정된 하이퍼파라미터를 가진 NAS보다 더 높은 모델 성능을 이끌 수 있는가?
• RQ2 연속적인 하이퍼파라미터를 이산적인 아키텍처 선택을 동시에 다루는 미분 가능한 검색 프레임워크에 효과적으로 통합할 수 있는가?
• RQ3 아키텍처와 하이퍼파라미터의 통합 검색 비용은 얼마이며, 이를 단일 모델 학습 수준으로 낮출 수 있는가?
• RQ4 AutoHAS는 하이퍼파라미터 및 아키텍처 검색에서 랜덤 서치 및 베이지안 최적화와 비교해 정확도와 효율성 측면에서 어떻게 성능을 냈는가?
• RQ5 다양한 아키텍처가 서로 다른 하이퍼파라미터 구성에서 얼마나 더 큰 이점을 얻을 수 있으며, 이러한 차이를 통합 검색 공간에서 포괄할 수 있는가?

주요 결과

• AutoHAS는 하이퍼파라미터를 고정하는 표준 NAS 방법에 비해 ImageNet에서 최대 2%의 top-1 정확도 향상을 달성한다.
• SQuAD 1.1 벤치마크에서 AutoHAS는 기준 모델 대비 F1 점수에서 0.4의 절대적 향상을 달성한다.
• 이러한 성과는 단일 모델 학습 수준의 검색 비용을 유지함으로써 매우 효율적임을 보여준다.
• AutoHAS는 랜덤 서치 및 베이지안 최적화 대비 계산 비용을 10배 감소시키면서도 더 높은 정확도를 달성한다.
• 통합 검색 공간은 아키텍처가 자신의 구조에 맞는 특화된 하이퍼파라미터를 발견할 수 있도록 하여 일반화 성능 향상에 기여한다.
• 모든 구성에 걸친 가중치 공유 덕분에 거대한 통합 검색 공간을 높은 스케일과 효율성으로 탐색할 수 있으며, 상당한 오버헤드 없이도 가능하다.