[논문 리뷰] Does Unsupervised Architecture Representation Learning Help Neural Architecture Search?

Yan Shen, Yu Zheng외 3명|arXiv (Cornell University)|2020. 06. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 70인용 수 34

한 줄 요약

arch2vec은 감독되지 않은 변분 그래프 오토인코더로 표현 학습과 검색을 분리하여 더 매끄러운 잠재 공간을 만들어 NAS 효율성을 여러 검색 공간과 전략에서 향상시킵니다.

ABSTRACT

Existing Neural Architecture Search (NAS) methods either encode neural architectures using discrete encodings that do not scale well, or adopt supervised learning-based methods to jointly learn architecture representations and optimize architecture search on such representations which incurs search bias. Despite the widespread use, architecture representations learned in NAS are still poorly understood. We observe that the structural properties of neural architectures are hard to preserve in the latent space if architecture representation learning and search are coupled, resulting in less effective search performance. In this work, we find empirically that pre-training architecture representations using only neural architectures without their accuracies as labels considerably improve the downstream architecture search efficiency. To explain these observations, we visualize how unsupervised architecture representation learning better encourages neural architectures with similar connections and operators to cluster together. This helps to map neural architectures with similar performance to the same regions in the latent space and makes the transition of architectures in the latent space relatively smooth, which considerably benefits diverse downstream search strategies.

연구 동기 및 목표

• 감독 신호에서 오는 편향을 피하기 위해 NAS를 위한 비지도 아키텍처 표현 학습의 동기를 부여한다.
• 아키텍처 표현 학습 접근법(arch2vec)의 분리된 개발을 추진한다.
• 다양한 공간과 전략에서 비지도 사전 학습이 다운스트림 NAS 효율성 및 견고성을 향상시키는지 평가한다.

제안 방법

• 아키텍처를 구조 정보만으로 인코딩하는 변분 그래프 등가 오토인코더로 arch2vec를 제안한다(정확도는 사용하지 않음).
• 노드 임베딩을 얻기 위해 그래프 동형 네트워크(GINs)를 사용하고 인접 행렬과 연산 행렬을 재구성하는 변분 디코더를 활용한다.
• 가우시안 사전으로의 재구성과 KL 발산을 포함하는 변분 하한을 사용해 학습한다.
• 프리트레이닝된 임베딩과 함께 REINFORCE(RL) 및 베이지안 최적화(DNGO)를 사용해 다운스트림 NAS 성능을 평가한다.
• NAS-Bench-101, NAS-Bench-201, DARTS에서 이산 인접 기반 인코딩 및 감독 아키텍처 표현 학습과 비교한다.
• 재구성, 유효성, 고유성 등 프리트레이닝 성능 지표와 NAS 성능(테스트 후회, 정확도)을 다양한 공간에서 제공한다.

실험 결과

연구 질문

• RQ1 아키텍처 표현의 비지도 프리트레이닝이 공동으로 학습된 감독 표현보다 더 매끈한 잠재 공간을 생성할 수 있는가?
• RQ2 arch2vec 임베딩이 RL 및 BO 전략과 결합될 때 여러 검색 공간에서 NAS의 효율성과 견고성을 향상시키는가?
• RQ3 비지도 임베딩이 지역 구조적 관계를 얼마나 잘 보존하고 아키텍처 성능을 예측하는가?
• RQ4 공동으로 학습될 때 표현 학습이 검색에 의해 감독 신호에 의해 편향되는가?

주요 결과

• arch2vec는 NAS-Bench-101, NAS-Bench-201, DARTS에서 재구성, 유효성, 고유성에서 GAE 및 VGAE를 능가한다.
• arch2vec 임베딩이 감독 표현보다 아키텍처 성능에 대한 예측 성능이 더 좋다(더 낮은 RMSE 및 더 높은 피어슨 r).
• arch2vec에서 잠재 공간 거리와 아키텍처의 편집 거리 간에 단조롭게 상관관계가 있어 구조적 근접성이 보존됨을 시사한다.
• t-SNE 시각화에서 arch2vec 임베딩은 같은 정확도끼리 클러스터링되며 잠재 공간을 포괄하는 반면 감독 counterpart는 더 불연속적이다.
• arch2vec(RL 및 BO)을 사용한 다운스트림 NAS는 벤치마크 대비 최종 성능과 견고성에서 경쟁력 있거나 우수하며, arch2vec-BO와 arch2vec-RL이 데이터셋 전반에서 종종 최상의 결과를 이끈다.