[논문 리뷰] Deep Neural Architecture Search with Deep Graph Bayesian Optimization

Lizheng Ma, Jiaxu Cui외 1명|arXiv (Cornell University)|2019. 05. 14.

Machine Learning and Data Classification참고 문헌 17인용 수 5

한 줄 요약

이 논문은 신경망 아키텍처 탐색(NAS)을 위한 자동 아키텍처 특징 추출을 위해 베이지안 그래프 신경망(GNN)을 서로서 모델로 사용하는 그래프 베이지안 최적화 프레임워크인 NASGBO를 제안한다. 신경망을 특성 부여된 그래프로 모델링하고 GNN을 활용해 구조적 및 특징 기반 표현을 캐치함으로써, 기존의 BO 및 진화적 방법에 비해 더 빠른 수렴과 뛰어난 성능을 달성하며, 특히 계산 비용을 줄이면서 더 나은 아키텍처를 찾는 데에 유리하다.

ABSTRACT

Bayesian optimization (BO) is an effective method of finding the global optima of black-box functions. Recently BO has been applied to neural architecture search and shows better performance than pure evolutionary strategies. All these methods adopt Gaussian processes (GPs) as surrogate function, with the handcraft similarity metrics as input. In this work, we propose a Bayesian graph neural network as a new surrogate, which can automatically extract features from deep neural architectures, and use such learned features to fit and characterize black-box objectives and their uncertainty. Based on the new surrogate, we then develop a graph Bayesian optimization framework to address the challenging task of deep neural architecture search. Experiment results show our method significantly outperforms the comparative methods on benchmark tasks.

연구 동기 및 목표

• 가우시안 프로세스 기반의 베이지안 최적화가 신경망 아키텍처 탐색에서 가지는 한계, 특히 수작업으로 설계된 유사도 측도에 의존하고, 확장성에 빈도가 떨어지는 문제를 해결하기 위해.
• 인간이 설계한 특징 없이도 신경 아키텍처의 구조로부터 의미 있는 표현을 자동으로 학습할 수 있는 서로서 모델을 개발하기 위해.
• 삼차 시간 복잡도를 가지는 GPs를 선형 시간 복잡도를 가지는 베이지안 GNN으로 대체함으로써 베이지안 최적화의 계산 비용을 줄이기 위해.
• 그래프 표현 학습과 불확실성 인식 예측을 활용해 더 큰 탐색 공간을 효율적으로 탐색할 수 있도록 하기 위해.
• 학습 가능한 확장 가능한 서로서 모델과 융합된 진화 전략을 통합함으로써 NAS의 탐색 효율성과 정확도를 향상시키기 위해.

제안 방법

• 노드는 레이어를, 간선은 연결을 나타내며, 레이어 유형과 하이퍼파라미터를 캡슐화한 특징을 가진 특성 부여된 그래프로 신경 아키텍처를 모델링한다.
• 특성 부여된 그래프에서 노드 및 간선 임베딩을 학습하기 위해 그래프 신경망(GNN)을 사용하여 구조적 및 의미적 관계를 캐치한다.
• 전체 아키텍처의 글로벌 그래프 표현으로 노드 및 간선 임베딩을 집계하기 위해 풀링 레이어를 적용한다.
• 전체 아키텍처의 성능(예: 정확도 또는 손실)을 예측하기 위해 글로벌 표현을 다층 퍼셉트론(MLP)에 입력한다.
• 예측 불확실성을 추정하기 위해 MLP 상단에 베이지안 선형 회귀(BLR) 레이어를 적용하여 베이지안 최적화의 주도적 할당을 가능하게 한다.
• 베이지안 GNN을 서로서로 사용하는 그래프 베이지안 최적화 프레임워크를 제안하며, 불확실성 인식 할당 함수에 기반해 반복적으로 가장 유망한 아키텍처를 선택한다.

실험 결과

연구 질문

• RQ1 학습 가능한 데이터 기반 서로서 모델이 신경망 아키텍처 탐색의 베이지안 최적화에서 수작업으로 설계된 유사도 측도를 능가할 수 있는가?
• RQ2 그래프 신경망이 성능 예측을 위해 깊은 신경망으로부터 의미 있는 아키텍처 특징을 효과적으로 추출할 수 있는가?
• RQ3 가우시안 프로세스를 베이지안 GNN으로 대체함으로써 베이지안 최적화의 확장성과 효율성이 크게 향상되는가?
• RQ4 제안된 프레임워크는 최신 기술 대비 더 적은 평가 수로 더 나은 신경망 아키텍처를 발견할 수 있는가?
• RQ5 학습된 아키텍처 임베딩의 사용이 NAS의 수렴 속도와 최종 성능에 어떤 영향을 미치는가?

주요 결과

• NASGBO는 Cifar10, Fashion-MNIST, MNIST, Slice 데이터셋에서 최고의 테스트 세트 성능을 달성하며, NASBOT, TreeBO, SEAS를 모두 능가했다.
• Fashion-MNIST 데이터셋에서 NASGBO는 단 두 개의 리스크 블록만을 가진 더 단순한 아키텍처를 발견하여, NASNM(다섯 개의 블록)와 NASBOT(리스크 블록 없음)보다 낮은 분류 오차를 기록했다.
• Slice 데이터셋에서 NASGBO는 최적의 스킵 커넥션을 가진 더 컴act한 아키텍처를 생성하여, 비교된 모든 방법들 중에서 가장 낮은 RMSE를 기록했다.
• CNN 및 MLP 벤치마크에서 NASGBO는 NASBOT보다 더 빠른 수렴을 보였으며, 특히 Cifar10과 Slice 데이터셋에서 더 뛰어난 샘플 효율성을 보였다.
• 베이지안 GNN 서로서 모델은 GPs의 O(N³)에서 선형 시간으로 훈련 및 예측 시간을 단축시켜 더 큰 탐색 공간의 확장 가능한 탐색을 가능하게 했다.
• 이 방법은 다양한 아키텍처와 작업에서 뛰어난 강건성을 보였으며, 정확도와 샘플 효율성 측면에서 최신 기술 대비 일관되게 뛰어난 성능을 보였다.