[논문 리뷰] Neural Architecture Optimization with Graph VAE

Jian Li, Yong Liu외 2명|arXiv (Cornell University)|2020. 06. 18.

Advanced Neural Network Applications참고 문헌 24인용 수 9

한 줄 요약

이 논문은 신경망 아키텍처를 연속 잠재 공간에 임bedding하는 데에 그래프 변동 자동차오더(GVAE)와 그래프 신경망을 사용하는 기울기 기반 신경망 아키텍처 탐색 프레임워크인 NGAE를 제안한다. 성능 예측기와 복잡도 예측기를 종합적으로 끝에서 끝까지 훈련시킴으로써, 높은 정확도와 낮은 계산 비용을 동시에 확보할 수 있는 효율적인 최적화를 가능하게 하여, 정확도 손실가 최소화되고 복잡도가 크게 감소한 상태에서 CIFAR-10에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Due to their high computational efficiency on a continuous space, gradient optimization methods have shown great potential in the neural architecture search (NAS) domain. The mapping of network representation from the discrete space to a latent space is the key to discovering novel architectures, however, existing gradient-based methods fail to fully characterize the networks. In this paper, we propose an efficient NAS approach to optimize network architectures in a continuous space, where the latent space is built upon variational autoencoder (VAE) and graph neural networks (GNN). The framework jointly learns four components: the encoder, the performance predictor, the complexity predictor and the decoder in an end-to-end manner. The encoder and the decoder belong to a graph VAE, mapping architectures between continuous representations and network architectures. The predictors are two regression models, fitting the performance and computational complexity, respectively. Those predictors ensure the discovered architectures characterize both excellent performance and high computational efficiency. Extensive experiments demonstrate our framework not only generates appropriate continuous representations but also discovers powerful neural architectures.

연구 동기 및 목표

• 기존 기울기 기반 NAS 방법이 아키텍처 구조와 계산 복잡도를 동시에 모델링하지 못하는 한계를 해결하기 위해.
• 그래프 VAE와 GNN을 사용하여 매끄럽고 분리된 잠재 공간을 학습함으로써, 연속 공간에서의 효율적인 최적화를 가능하게 하기 위해.
• 성능 예측기와 복잡도 예측기를 종합적으로 끝에서 끝까지 훈련시켜 성능과 계산 효율성을 동시에 최적화하기 위해.
• 예측 모델을 VAE 프레임워크에 직접 통합하여 별도의 훈련 파ip라인을 피함으로써 일반화 능력과 탐색 효율성을 향상시키기 위해.

제안 방법

• 이산적 신경망 아키텍처 표현을 연속 잠재 공간으로 매핑하기 위해 그래프 신경망(GNN) 기반 인코더를 사용한다.
• KL 정규화를 포함한 변동 자동차오더(VAE) 프레임워크를 사용하여 최적화를 위해 매끄럽고 잘 구조화된 잠재 공간을 보장한다.
• 성능 예측기와 FLOPs(계산 복잡도) 예측기로 구성된 두 개의 별도 회귀 모델을 종합적으로 끝에서 끝까지 훈련시킨다.
• 성능 예측기와 복잡도 예측기의 조합 출력을 최대화하기 위해 확률적 기울기 상승을 사용하여 잠재 표현을 최적화한다.
• 최적화된 잠재 벡터에서 유효한 신경망 아키텍처를 재구성하기 위해 GNN 기반 디코더를 사용한다.
• 백프로파게이션을 통해 인코더, 디코더, 그리고 두 예측기를 종합적으로 훈련시켜 탐색 공간 전반에서 일致성과 일반화 능력을 확보한다.

실험 결과

연구 질문

• RQ1 GNN을 사용하는 그래프 VAE가 신경망 아키텍처 표현을 위한 연속적이고 매끄럽고 분리된 잠재 공간을 효과적으로 학습할 수 있는가?
• RQ2 잠재 공간에서 성능 예측기와 복잡도 예측기를 종합적으로 훈련시키는 것이 별도의 훈련보다 더 나은 아키텍처 탐색 효율성과 일반화 능력을 제공하는가?
• RQ3 계산 복잡도를 예측 목표로 통합함으로써 성능을 손상시키지 않으면서 발견된 아키텍처의 실용성을 향상시킬 수 있는가?
• RQ4 잠재 공간의 매끄러움이 기울기 기반 최적화를 통한 신경망 아키텍처 탐색에 어떻게 효과적으로 기여하는가?
• RQ5 제안된 프레임워크는 기존 NAS 방법보다 우수한 표준 벤치마크에서 새로운 고성능·고효율 아키텍처를 발견할 수 있는가?

주요 결과

• 300개의 훈련 에포크 후 그래프 VAE의 재구성 정확도가 82.83%에서 99.99%로 상승하여 고품질의 잠재 공간 학습을 확인하였다.
• 정확도 예측 모델은 강력한 피팅을 보였으며, 예측된 정확도와 진짜 정확도가 테스트 세트 평가에서 매우 밀접하게 일치하였다(R²가 1에 가까움).
• 성능 예측기의 RMSE는 훈련 데이터와 테스트 데이터 양쪽에서 작은 값으로 수렴하여 강력한 일반화 능력을 확인하였다.
• 확률적 기울기 상승을 사용한 추론 도중 예측 정확도가 여러 단계에 걸쳐 안정적으로 수렴하였으며, 이는 이전 방법에서 사용하는 1단계 업데이트보다 뛰어난 성능을 보였다.
• NGAE는 CIFAR-10에서 상위 3개 성능을 달성하였으며, 복잡도 예측기를 사용하지 않은 NGAE와 유사한 정확도를 확보하면서도 FLOPs가 크게 감소하였다.
• 제거 실험을 통해 VAE와 예측기를 함께 훈련시키는 것이 D-VAE에 베이지안 최적화를 적용한 방법과 같은 별도 훈련 방식보다 탐색 품질을 향상시켰음을 확인하였다.