[논문 리뷰] A Variational-Sequential Graph Autoencoder for Neural Architecture Performance Prediction

David Friede, Jovita Lukasik외 2명|arXiv (Cornell University)|2019. 12. 11.

Advanced Graph Neural Networks참고 문헌 36인용 수 11

한 줄 요약

이 논문은 NAS-Bench-101의 신경망 아키텍처 그래프를 연속 잠재공간에 인코딩하는 데 그래프 신경망(GNNs)을 사용하는 변분-순차적 그래프 오토인코더(VS-GAE)를 제안한다. 이는 정확한 성능 예측과 안정적인 제로샷 일반화를 가능하게 한다. 이 모델은 특히 학습된 잠재공간에서 샘플링할 때, 이산공간 샘플링 방법보다 뛰어난 성능을 보이며 최신 기술 수준의 안정성과 정확도 예측 성능을 달성한다.

ABSTRACT

In computer vision research, the process of automating architecture engineering, Neural Architecture Search (NAS), has gained substantial interest. In the past, NAS was hardly accessible to researchers without access to large-scale compute systems, due to very long compute times for the recurrent search and evaluation of new candidate architectures. The NAS-Bench-101 dataset facilitates a paradigm change towards classical methods such as supervised learning to evaluate neural architectures. In this paper, we propose a graph encoder built upon Graph Neural Networks (GNN). We demonstrate the effectiveness of the proposed encoder on NAS performance prediction for seen architecture types as well an unseen ones (i.e., zero shot prediction). We also provide a new variational-sequential graph autoencoder (VS-GAE) based on the proposed graph encoder. The VS-GAE is specialized on encoding and decoding graphs of varying length utilizing GNNs. Experiments on different sampling methods show that the embedding space learned by our VS-GAE increases the stability on the accuracy prediction task.

연구 동기 및 목표

• 사전에 훈련된 아키텍처를 사용하여 감독 기반 성능 예측을 가능하게 하여 신경망 아키텍처 탐색(NAS)의 높은 계산 비용을 해결하기 위해.
• 다양한 길이의 신경망 아키텍처 그래프를 인코딩하고 디코딩할 수 있는 그래프 오토인코더를 개발하기 위해.
• 미래의 아키텍처 유형에 대해 의미 있고 안정적인 잠재공간을 학습시켜 제로샷 성능 예측을 향상시키기 위해.
• 학습된 잠재공간을 통해 새로운 신경망 아키텍처를 안정적이고 의미 있는 방식으로 샘플링할 수 있도록 하여 전통적인 이산공간 샘플링을 초월하기 위해.

제안 방법

• 모델은 GNN 기반 인코더를 사용하여 신경망 아키텍처 그래프(DAG로 표현됨)를 연속 잠재공간에 임bedding한다.
• 변분 오토인코더 프레임워크를 사용하며, 잠재 코드 위의 사후분포는 GNN 인코더를 통해 근사된다.
• GNN 기반의 순차적 디코더가 잠재코드에서 그래프를 재구성하여 엔드 투 엔드 훈련이 가능하도록 한다.
• 모델은 423,000개의 완전히 훈련된 합성곱 아키텍처를 포함하는 NAS-Bench-101 데이터셋에서 훈련된다.
• 학습된 사전분포를 기반으로 잠재공간에서 샘플링을 수행하여 새로운 유효한 아키텍처를 생성할 수 있다.
• 잠재공간 샘플링과 이산공간 샘플링(편집거리 기반 및 균일한 랜덤 샘플링 기반)을 비교한다.

실험 결과

연구 질문

• RQ1 GNN 기반 그래프 오토인코더는 다양한 크기의 신경망 아키텍처 그래프를 효과적으로 인코딩하고 재구성할 수 있는가?
• RQ2 VS-GAE에서 학습된 잠재공간은 제로샷 설정에서도 안정적이고 정확한 성능 예측을 가능하게 하는가?
• RQ3 편집거리 기반 이산공간 샘플링과 비교할 때, 잠재공간에서의 샘플링은 예측 안정성 측면에서 어떻게 다른가?
• RQ4 모델은 잠재공간의 사전분포에서 유효하고 다양한 신경망 아키텍처를 생성할 수 있는가?

주요 결과

• VS-GAE 인코더는 길이 6인 아키텍처에 대해 제로샷 예측에서 테스트 RMSE 0.0487 (±0.3%)을 달성했고, 길이 7인 아키텍처에 대해서는 0.0526 (±4%)를 기록하여 뛰어난 일반화 능력을 입증했다.
• 모델은 재구성 정확도 99.99%와 사전 유효성 95.09%를 달성하여 재구성과 생성 모두 높은 정밀도를 보였다.
• 잠재공간에서의 샘플링은 모든 샘플 크기에서 예측 안정성이 크게 향상되었으며, 이산공간 샘플링은 높은 변동성을 보였다.
• 편집거리 기반 샘플링은 균일한 랜덤 샘플링에 비해 안정성 면에서 특별한 이점이 없음을 확인하여 이산공간 샘플링의 한계를 시사했다.
• VS-GAE가 학습한 잠재공간은 아키텍처 생성과 성능 예측에 있어 효과적이고 안정적인 샘플링을 가능하게 한다.