[논문 리뷰] Neural Architecture Search without Training

Joseph Mellor, Jack Turner외 2명|Edinburgh Research Explorer|2020. 06. 08.

Advanced Neural Network Applications참고 문헌 41인용 수 44

한 줄 요약

본 논문은 활성 패턴 중첩을 이용해 미훈련 네트워크를 점수화하는 학습-없는 신경 아키텍처 탐색 방법 NASWOT를 제시한다. 이는 매우 빠른 아키텍처 탐색과 여러 NAS 벤치마크에서 경쟁력 있는 결과를 가능하게 한다.

ABSTRACT

The time and effort involved in hand-designing deep neural networks is immense. This has prompted the development of Neural Architecture Search (NAS) techniques to automate this design. However, NAS algorithms tend to be slow and expensive; they need to train vast numbers of candidate networks to inform the search process. This could be alleviated if we could partially predict a network's trained accuracy from its initial state. In this work, we examine the overlap of activations between datapoints in untrained networks and motivate how this can give a measure which is usefully indicative of a network's trained performance. We incorporate this measure into a simple algorithm that allows us to search for powerful networks without any training in a matter of seconds on a single GPU, and verify its effectiveness on NAS-Bench-101, NAS-Bench-201, NATS-Bench, and Network Design Spaces. Our approach can be readily combined with more expensive search methods; we examine a simple adaptation of regularised evolutionary search. Code for reproducing our experiments is available at https://github.com/BayesWatch/nas-without-training.

연구 동기 및 목표

• 초기 네트워크 상태에서 최종 성능을 예측하여 NAS의 학습 부담을 줄이는 것을 동기화한다.
• 미훈련 네트워크의 활성화 패턴에 기초한 학습-없이 점수화 지표를 개발한다.
• 빠른 NAS 알고리즘(NASWOT)을 시연하고 이것이 기존 탐색 방법을 어떻게 보완하는지 보여준다.
• NAS-Bench-101, NAS-Bench-201, NATS-Bench 및 Network Design Spaces(NDS) 등 여러 NAS 벤치마크와 공간에서 접근법을 검증한다.
• 더 비용이 많이 드는 탐색 전략(예: 정규화된 진화 탐색)으로 점수화 지표의 통합을 탐구한다.

제안 방법

• 미훈련 네트워크의 ReLU 유닛에 대한 이진 활성화 코드를 정의하여 선형 영역을 식별한다.
• 활성화 코드 간 해밍 거리로부터 커널 행렬 K_H를 구성한다.
• 예측 정확도가 높을수록 대각선 편향 커널임을 나타내는 학습-없는 점수 s = log|K_H|를 정의한다.
• Kendall의 Tau를 사용하여 NAS 공간 전반에서 s와 최종 훈련 정확도 간의 실증적 상관관계를 분석한다.
• N개의 아키텍처를 샘플링하고 점수가 가장 높은 것을 선택하는 간단한 NASWOT 탐색에 s를 통합한다.
• AREA(Assisted Regularised EA)를 NASWOT 점수로 Regularised EA의 개체군 초기화를 안내하는 방식으로 시연한다.

실험 결과

연구 질문

• RQ1 미훈련 네트워크의 활성화 패턴이 결국의 학습 정확도의 신뢰할 수 있는 대리 지표가 될 수 있는가?
• RQ2 다양한 NAS 공간에서 최종 성능을 예측하는 데이터 및 초기화에 민감하지 않는 강력한 점수 지표가 있는가?
• RQ3 학습-없는 신호에 의존할 때 NAS 탐색은 얼마나 빨라지며 훈련된 기준선과는 어떻게 비교되는가?
• RQ4 학습-없는 점수가 기존의 NAS 알고리즘에 통합되어 정확도를 희생하지 않으면서 효율성을 향상시킬 수 있는가?
• RQ5 학습-없는 접근 방법이 서로 다른 데이터셋과 네트워크 설계 공간(NAS-Bench-101, NAS-Bench-201, NATS-Bench, NDS)에 일반화되는가?

주요 결과

• 활성화 코드 기반 커널에서 도출된 간단한 점수 s = log|K_H|가 NAS 공간 전역에서 최종 정확도와 양의 상관을 보인다.
• NASWOT은 단일 GPU에서 수초 안에 CIFAR-10 등의 최종 정확도 경쟁력을 달성하여 일부 가중치 공유 방법을 능가하고 속도 면에서 비가중치 공유 기준선에 근접한다.
• 폐기 연구에서 점수는 미니배치 선택, 입력 데이터 유형, 초기화에 대해 견고하며 미니배치 크기와 함께 합리적으로 스케일링된다.
• 점수는 훈련 초기 단계에 상승하지만 안정화되며 네트워크 랭킹이 보존되어 예측 대리 지표로서의 역할을 뒷받침한다.
• AREA는 NASWOT의 점수가 진화 탐색을 시드화해 NAS-Bench 벤치마크에서 표준 REA보다 효율성을 향상시키는 방법을 시연한다.