[논문 리뷰] Self-supervised Representation Learning for Evolutionary Neural Architecture Search

Chen Wei, Yiping Tang외 4명|arXiv (Cornell University)|2020. 10. 31.

Advanced Neural Network Applications참고 문헌 48인용 수 6

한 줄 요약

이 논문은 레이블이 부족한 데이터로도 신경망 예측기 성능을 향상시키는 자기지도 학습 기반 표현 학습 프레임워크를 제안한다. 신경망 아키텍처를 보다 잘 표현하기 위해 위치 인식 경로 기반 인코딩을 도입하고, 두 가지 새로운 자기지도 사전학습 방법—그래프 편집 거리 예측 및 중심 대비 학습—을 설계함으로써, 감독 학습 기반 방법에 비해 훨씬 적은 학습 데이터로도 NASBench-101 및 NASBench-201에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Recently proposed neural architecture search (NAS) algorithms adopt neural predictors to accelerate the architecture search. The capability of neural predictors to accurately predict the performance metrics of neural architecture is critical to NAS, and the acquisition of training datasets for neural predictors is time-consuming. How to obtain a neural predictor with high prediction accuracy using a small amount of training data is a central problem to neural predictor-based NAS. Here, we firstly design a new architecture encoding scheme that overcomes the drawbacks of existing vector-based architecture encoding schemes to calculate the graph edit distance of neural architectures. To enhance the predictive performance of neural predictors, we devise two self-supervised learning methods from different perspectives to pre-train the architecture embedding part of neural predictors to generate a meaningful representation of neural architectures. The first one is to train a carefully designed two branch graph neural network model to predict the graph edit distance of two input neural architectures. The second method is inspired by the prevalently contrastive learning, and we present a new contrastive learning algorithm that utilizes a central feature vector as a proxy to contrast positive pairs against negative pairs. Experimental results illustrate that the pre-trained neural predictors can achieve comparable or superior performance compared with their supervised counterparts with several times less training samples. We achieve state-of-the-art performance on the NASBench-101 and NASBench201 benchmarks when integrating the pre-trained neural predictors with an evolutionary NAS algorithm.

연구 동기 및 목표

• 신경 아키텍처 검색(NAS)을 위한 신경망 예측기 학습에서 레이블 데이터가 부족한 문제를 해결하기 위해.
• 감독 학습 방법보다 훨씬 적은 학습 샘플로도 신경망 예측기의 예측 정확도를 향상시키기 위해.
• 신경망 아키텍처의 구조적 및 위치적 차이를 잘 포착하는 더 효과적인 아키텍처 인코딩 체계를 개발하기 위해.
• 신경망 아키텍처 임베딩을 위한 의미 있는 표현을 생성하는 자기지도 사전학습 기법을 탐색하기 위해.
• 사전학습된 예측기를 유효성 기반 NAS 프레임워크에 통합하고, 표준 벤치마크에서 성능을 평가하기 위해.

제안 방법

• 표준 경로 기반 인코딩의 한계를 극복하기 위해, 연산의 위치를 포착하고 동형 그래프를 구분할 수 있는 위치 인식 경로 기반 인코딩 체계를 제안한다.
• 두 개의 브런치를 가진 그래프 신경망을 설계하여, 두 신경망 아키텍처 간의 그래프 편집 거리(GED)를 예측하는 자기지도 사전과업으로 활용한다.
• 공통의 중심 특징 벡터를 사용해 유사한 아키텍처(양성 쌍)를 비유사한 아키텍처(음성 쌍)와 대비하는 중심 대비 학습 방법을 도입한다.
• 소량의 레이블 데이터에 대한 피니터닝 이전에, 이러한 자기지도 목적 함수를 사용해 아키텍처 임베딩 모듈을 사전학습한다.
• 사전학습된 신경망 예측기를 유효성 기반 NAS 알고리즘에 통합하여 고성능 아키텍처를 효율적으로 탐색한다.
• 성능 평가를 위해 NASBench-101 및 NASBench-201을 벤치마크 데이터셋으로 활용하여 CIFAR-10, CIFAR-100, ImageNet-16-120에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 제안된 자기지도 사전학습 전략은 레이블 데이터가 제한된 상황에서 NAS의 신경망 예측기 성능을 크게 향상시킬 수 있는가?
• RQ2 위치 인식 아키텍처 인코딩 체계는 표준 경로 기반 인코딩보다 더 나은 표현 학습을 이끌 수 있는가?
• RQ3 다른 자기지도 사전과업—GED 예측과 대비 학습—은 최종 예측기 정확도에 어떻게 영향을 미치는가?
• RQ4 사전학습된 신경망 예측기는 유효성 기반 NAS 프레임워크에 통합되었을 때 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 특히 레이블 데이터가 부족한 상황에서 사전학습은 샘플 효율성에 어떤 영향을 미치는가?

주요 결과

• 제안된 위치 인식 경로 기반 인코딩은 표준 경로 기반 인코딩과 달리 동형이지만 위치가 다른 신경망 아키텍처를 성공적으로 구분한다.
• 소량의 샘플로도 학습된 자기지도 사전학습된 신경망 예측기는 감독 학습 기반 예측기와 비교해 유사하거나 더 뛰어난 성능을 보인다.
• NASBench-101에서 고정된 검색 예산으로 CIFAR-10에서 테스트 오차 8.92%를 기록했으며, ORACLE 기준선의 8.91%와 거의 동일한 성능을 달성했다.
• NASBench-201에서 CIFAR-10에서는 테스트 오차 8.94%, CIFAR-100에서는 26.51%, ImageNet-16-120에서는 53.78%의 오차를 기록하며 150회의 평가로 최신 기술 수준의 성능을 달성했다.
• 두 가지 자기지도 방법—GED 예측과 중심 대비 학습—은 서로 다른 행동을 보이며, 표현 학습에서 서로 다른 인덕티브 바이어스를 가짐을 시사한다.
• 사전학습된 신경망 예측기는 유효성 기반 NAS에 통합되었을 때 잘 일반화되며, 뛰어난 샘플 효율성과 성능을 보였다.