[논문 리뷰] Rapid Neural Architecture Search by Learning to Generate Graphs from Datasets

Hayeon Lee, Eunyoung Hyung외 1명|arXiv (Cornell University)|2021. 07. 02.

Advanced Neural Network Applications참고 문헌 46인용 수 6

한 줄 요약

이 논문은 메타학습 프레임워크인 MetaD2A를 제안하며, 교차 모odal 잠재 공간을 통해 미리 보지 않은 데이터셋에서 직접 그래프 기반 아키텍처를 생성함으로써 최적의 신경망 아키텍처를 빠르게 탐색한다. 데이터셋과 사전학습 모델의 데이터베이스에서 한 번만 훈련하면, 새로운 데이터셋에서 평균 33 GPU 초의 검색 시간을 기록하며 기존의 NAS 방법을 뛰어넘고, NSGANetV2보다 5.5K배 빠르며 경쟁 가능한 정확도를 유지한다.

ABSTRACT

Despite the success of recent Neural Architecture Search (NAS) methods on various tasks which have shown to output networks that largely outperform human-designed networks, conventional NAS methods have mostly tackled the optimization of searching for the network architecture for a single task (dataset), which does not generalize well across multiple tasks (datasets). Moreover, since such task-specific methods search for a neural architecture from scratch for every given task, they incur a large computational cost, which is problematic when the time and monetary budget are limited. In this paper, we propose an efficient NAS framework that is trained once on a database consisting of datasets and pretrained networks and can rapidly search for a neural architecture for a novel dataset. The proposed MetaD2A (Meta Dataset-to-Architecture) model can stochastically generate graphs (architectures) from a given set (dataset) via a cross-modal latent space learned with amortized meta-learning. Moreover, we also propose a meta-performance predictor to estimate and select the best architecture without direct training on target datasets. The experimental results demonstrate that our model meta-learned on subsets of ImageNet-1K and architectures from NAS-Bench 201 search space successfully generalizes to multiple unseen datasets including CIFAR-10 and CIFAR-100, with an average search time of 33 GPU seconds. Even under MobileNetV3 search space, MetaD2A is 5.5K times faster than NSGANetV2, a transferable NAS method, with comparable performance. We believe that the MetaD2A proposes a new research direction for rapid NAS as well as ways to utilize the knowledge from rich databases of datasets and architectures accumulated over the past years. Code is available at https://github.com/HayeonLee/MetaD2A.

연구 동기 및 목표

• 각각의 새로운 데이터셋에 대해 재학습이 필요한 고효율의 태스크 특화 신경망 아키텍처 탐색(NAS)의 높은 계산 비용을 해결하기 위해.
• 공유되고 이식 가능한 아키텍처 생성 과정을 학습하여 여러 개의 새로운 데이터셋에 일반화할 수 있도록 하기 위해.
• 데이터셋과 아키텍처 데이터베이스의 데이터베이스에서 한 번의 메타학습을 통해 NAS 검색 시간을 O(N)에서 O(1)로 줄이기 위해.
• 목표 데이터셋에서 직접 훈련 없이도 아키텍처 정확도를 추정할 수 있는 메타성능 예측기 개발하기 위해.
• 시간과 예산이 제한된 실세계 배포 환경에서 효율적이고 저비용의 아키텍처 탐색을 가능하게 하기 위해.

제안 방법

• 집합 인코더는 학습 가능한 순열에 대한 불변 구조를 사용하여 입력 데이터셋을 잠재 표현으로 변환하여 데이터셋 수준의 특성을 캡처한다.
• 그래프 디코더는 데이터셋 잠재 표현에서 확률적이고 미분 가능한 방식으로 계산 그래프 형태의 신경망 아키텍처 후보를 생성한다.
• 보상 최적화된 메타학습을 통해 교차 모달 잠재 공간을 학습하여 데이터셋 표현과 해당되는 신경망 아키텍처 분포를 정렬한다.
• 메타성능 예측기는 데이터셋과 아키텍처 입력을 모두 사용하여 생성된 아키텍처의 정확도를 추정하도록 훈련되어, 다양한 데이터셋 간의 일반화를 향상시킨다.
• 이 프레임워크는 두 단계 과정을 사용한다: (1) 데이터셋의 잠재 표현에서 여러 아키텍처 후보를 생성하고, (2) 메타예측기를 사용하여 성능이 뛰어난 하나를 선택한다.
• 모델은 ImageNet-1K의 부분 집합과 NAS-Bench 201, MobileNetV3 탐색 공간의 아키텍처에서 메타학습되어, 제로샷 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 한 번의 훈련만으로 재학습 없이도 여러 개의 새로운 데이터셋에 일반화할 수 있는 단일 NAS 모델을 개발할 수 있는가?
• RQ2 학습된 잠재 공간이 데이터셋 잠재 표현에서 직접 확률적이고 고품질의 아키텍처 생성을 가능하게 할 수 있는가?
• RQ3 목표 데이터셋에서 직접 훈련 없이도 메타성능 예측기가 아키텍처를 정확하게 순위 매길 수 있는가?
• RQ4 기존의 NAS 및 이식 가능한 NAS 방법과 비교해 본다면, 제안된 방법은 속도와 정확도 측면에서 어떻게 성능을 내는가?
• RQ5 생성기 모델이 훈련 데이터베이스에 존재하지 않는 새로운, 유효하고 고유한 아키텍처를 얼마나 잘 생성할 수 있는가?

주요 결과

• MetaD2A는 CIFAR-10, CIFAR-100, Oxford-IIIT Pets와 같은 새로운 데이터셋에서 평균 33 GPU 초의 검색 시간을 기록하여 기존의 NAS 방법보다 빠르게 작동한다.
• MobileNetV3 탐색 공간에서 MetaD2A는 NSGANetV2보다 5.5K배 더 빠르며, 유사한 성능을 달성한다.
• 메타성능 예측기는 실제 아키텍처 정확도와 피어슨 상관계수 0.8085를 기록하여 다른 집합 인코더보다 뛰어난 성능을 보였다.
• 생성기는 NAS-Bench-201에서 67.31%의 새로운 아키텍처를 생성했고, MobileNetV3에서는 100%를 기록했으며, 유효성은 각각 1.0000, 고유성은 0.3519와 1.0000을 기록했다.
• 모델은 MNIST, SVHN, Aircraft와 같은 여러 새로운 데이터셋으로 일반화되며, 무작위 샘플링 기반 방법보다 일관된 성능 향상을 보였다.
• 제안된 아키텍처를 사용한 집합 인코더는 DeepSet 및 SetTransformer와 같은 기존의 집합 인코더보다 성능 예측 성능을 향상시켰다.