[논문 리뷰] Interpretable Neural Architecture Search via Bayesian Optimisation with Weisfeiler-Lehman Kernels

Binxin Ru, Xingchen Wan외 2명|arXiv (Cornell University)|2020. 06. 13.

Machine Learning and Data Classification참고 문헌 82인용 수 20

한 줄 요약

이 논문은 신경망 아키텍처 검색 공간을 모델링하기 위해 Weisfeiler-Lehman 그래프 커널을 사용하는 가우시안 프로세스 대체모형을 갖춘 베이지안 최적화 프레임워크인 NAS-BOWL을 제안한다. 상위 구조적 특성을 포착하고 해석 가능한 특징 추출을 가능하게 함으로써, NAS-BOWL은 높은 데이터 효율성과 함께 최신 기술 수준의 성능을 달성하며 성능을 이끄는 아키텍처 모티프에 대한 통찰을 제공한다.

ABSTRACT

Current neural architecture search (NAS) strategies focus only on finding a single, good, architecture. They offer little insight into why a specific network is performing well, or how we should modify the architecture if we want further improvements. We propose a Bayesian optimisation (BO) approach for NAS that combines the Weisfeiler-Lehman graph kernel with a Gaussian process surrogate. Our method optimises the architecture in a highly data-efficient manner: it is capable of capturing the topological structures of the architectures and is scalable to large graphs, thus making the high-dimensional and graph-like search spaces amenable to BO. More importantly, our method affords interpretability by discovering useful network features and their corresponding impact on the network performance. Indeed, we demonstrate empirically that our surrogate model is capable of identifying useful motifs which can guide the generation of new architectures. We finally show that our method outperforms existing NAS approaches to achieve the state of the art on both closed- and open-domain search spaces.

연구 동기 및 목표

• 기존 NAS 방법의 흑박 상자 성향을 해결하기 위해 아키텍처 검색에 해석 가능성을 도입한다.
• 고차원적이고 그래프 유사한 NAS 검색 공간에서 데이터 효율적인 최적화를 가능하게 한다.
• 성능을 이끄는 의미 있는 아키텍처 모티프를 식별하여 향후 설계를 안내한다.
• 폐쇄 영역 및 개방 영역 검색 공간에서 기존 BO 기반 NAS 방법을 초월한다.

제안 방법

• 방법은 Weisfeiler-Lehman 부분수 나무 커널을 결합한 가우시안 프로세스 대체모형(GPWL)을 사용하여 신경망 아키텍처 그래프의 구조를 모델링한다.
• 아키텍처 표현은 노드에 특징이 부여된 방향 비순환 그래프(DAG)로 인코딩되어 커널 계산을 위한 구조적 구조를 유지한다.
• GPWL 대체모형은 불확실성 정량화와 자동 하이퍼파라미터 처리를 가능하게 하여 데이터 효율적인 학습을 지원한다.
• 해석 가능한 특징은 WL 커널을 통해 추출되며, 이들의 성능에 대한 영향은 대체모형 기반 기울기 분석을 통해 분석된다.
• 각 BO 반복에서 새로운 후보 아키텍처를 생성하기 위해 변형 기반의 취득 전략이 사용된다.
• 이 프레임워크는 NAS-Bench와 같은 폐쇄 영역 및 DARTS 스타일의 개방 영역 검색 공간을 모두 지원한다.

실험 결과

연구 질문

• RQ1 커널 기반 GP 대체모형이 신경망 아키텍처 검색 공간의 구조적 특성을 효과적으로 모델링할 수 있는가?
• RQ2 WL 커널이 성능과 상관관계가 있는 해석 가능한 아키텍처 모티프를 추출할 수 있는가?
• RQ3 GPWL 대체모형이 기존 방법과 비교해 데이터 효율적이고 높은 성능을 내는가?
• RQ4 식별된 모티프를 활용해 새로운 작업에 대해 전이 학습과 온전한 검색 시작을 안내할 수 있는가?

주요 결과

• NAS-BOWL은 NAS-Bench 101 및 201 데이터셋에서 기존 BO 기반 NAS 방법을 능가하는 최신 기술 수준의 성능을 달성하며, 더 적은 쿼리 수로 성능을 내는 데 성공했다.
• 이 방법은 뛰어난 데이터 효율성을 보이며, 경쟁 기술 대비 훨씬 적은 아키텍처 평가 수로 최적 성능에 수렴한다.
• WL 커널의 다중 척도 특징 추출 기능이 핵심이다: 단지 노드 특징(VH)만을 사용할 경우 성능 저하가 심각하게 발생함으로써, 구조적 구조의 중요성을 입증한다.
• WL 커널을 통해 추출된 해석 가능한 특징은 의미 있는 아키텍처 모티프에 해당하며, 이는 전이 학습에 유용하다는 점이 검증되었다.
• 취득 함수 선택(UKB 대비 기대 개선)이 성능에 미치는 영향은 미미하여, 취득 전략에 대해 뛰어난 내성적 안정성을 보인다.
• 변형 알고리즘의 사용이 검색 성능을 크게 향상시켜, 검색 공간 탐색에 효과적임을 입증했다.