[논문 리뷰] Auto-GNN: Neural Architecture Search of Graph Neural Networks

Kaixiong Zhou, Qingquan Song외 2명|arXiv (Cornell University)|2019. 09. 07.

Advanced Graph Neural Networks참고 문헌 44인용 수 64

한 줄 요약

이 논문은 AGNN를 소개하고, 그래프 신경망용으로 특화된 강화학습 주도 NAS 프레임워크로서, 보수적 탐색과 제약된 매개변수 공유를 통해 노드 분류에서 고성능 GNN 아키텍처를 효율적으로 발견한다.

ABSTRACT

Graph neural networks (GNN) has been successfully applied to operate on the graph-structured data. Given a specific scenario, rich human expertise and tremendous laborious trials are usually required to identify a suitable GNN architecture. It is because the performance of a GNN architecture is significantly affected by the choice of graph convolution components, such as aggregate function and hidden dimension. Neural architecture search (NAS) has shown its potential in discovering effective deep architectures for learning tasks in image and language modeling. However, existing NAS algorithms cannot be directly applied to the GNN search problem. First, the search space of GNN is different from the ones in existing NAS work. Second, the representation learning capacity of GNN architecture changes obviously with slight architecture modifications. It affects the search efficiency of traditional search methods. Third, widely used techniques in NAS such as parameter sharing might become unstable in GNN. To bridge the gap, we propose the automated graph neural networks (AGNN) framework, which aims to find an optimal GNN architecture within a predefined search space. A reinforcement learning based controller is designed to greedily validate architectures via small steps. AGNN has a novel parameter sharing strategy that enables homogeneous architectures to share parameters, based on a carefully-designed homogeneity definition. Experiments on real-world benchmark datasets demonstrate that the GNN architecture identified by AGNN achieves the best performance, comparing with existing handcrafted models and tradistional search methods.

연구 동기 및 목표

• 메시지 전달 합성을 기반으로 그래프 신경망 아키텍처의 탐색 공간 정의.
• 인과성을 학습하는 아키텍처 수정 학습을 하는 강화학습 컨트롤러 개발.
• 이종 GNN 간 학습 안정화를 위한 제약된 매개변수 공유 전략 도입.
• 노드 분류 작업에서 AGNN 발견 아키텍처가 수작업 모델 및 기타 NAS 방법보다 우수함을 실증적으로 검증.

제안 방법

• GNN 층당 여섯 가지 동작 공간 정의: 은닉 차원, 주의 함수, 주의 헤드 수, 집계 함수, 결합 함수, 활성화 함수.
• 각 동작 클래스마다 독립적인 RNN 인코더를 갖춘 강화학습 기반 컨트롤러를 사용하여 아키텍처를 탐욕적으로 수정.
• 보수적 탐색기, 안내된 아키텍처 수정기, 정책-그래디언트 트레이너를 갖춘 강화된 보수적 신경망 아키텍처 탐색(RCNAS) 구현.
• 입력/출력 형태가 일치하고 동일한 주의/활성화 함수이며 BN/스킵 연결 구성요소를 공유하지 않는 아키텍처 간에만 가중치 전이을 허용하는 제약된 매개변수 공유 제안.
• 탐색과 안정성의 균형을 맞추기 위해 공유 가중치를 사용하여 자식 아키텍처를 몇 에포크 훈련.

실험 결과

연구 질문

• RQ1 효율적인 GNN 아키텍처 탐색 공간을 정의하고 이를 효과적으로 탐색하는 방법은?
• RQ2 이종 GNN 아키텍처들 간 학습 안정화를 위해 매개변수 공유를 어떻게 제약할 것인가?
• RQ3 AGNN가 노드 분류에서 수작업 모델 및 다른 NAS 방법을 능가하는 아키텍처를 찾는가?
• RQ4 제한된 아키텍처 수정과 전체 수정 간의 차이가 탐색 효율성에 미치는 영향은?

주요 결과

Baseline Class	Model	#Layers	Params	Cora	Citeseer	Pubmed
Chebyshev	2-layer	2	0.09 M	81.2%	69.8%	74.4%
GCN	2-layer	2	0.02 M	81.5%	70.3%	79.0%
GAT	2-layer	2	0.09 M	83.0±0.7%	72.5±0.7%	79.0±0.3%
LGCN	3–4-layer	3–4	0.06 M	83.3±0.5%	73.0±0.6%	79.5±0.2%
GraphNAS-w/o share	2-layer	2	0.09 M	82.7±0.4%	73.5±1.0%	78.8±0.5%
GraphNAS-with share	2-layer	2	1.91 M	72.4±1.3%	-	-
Random-w/o share	2-layer	2	0.95 M	72.9±0.2%	-	-
Random-with share	2-layer	2	0.95 M	69.9±1.7%	-	-
AGNN-w/o share	2-layer	2	0.71 M	83.8%	73.8%	79.7%
AGNN-with share	2-layer	2	0.03 M	82.7%	72.7%	79.0%

• AGNN-발견 아키텍처는 수작업 모델 및 NAS 기준선보다 전이학습 노드 분류 벤치마크에서 우수합니다. 예를 들어, AGNN-w/o share은 83.6% Cora, 73.8% Citeseer, 79.7% Pubmed로 몇 가지 기준선보다 뛰어납니다.
• 전이 학습 과제에서 AGNN-with share도 경쟁력 있는 결과를 낳으며(예: Cora 82.7%, Citeseer 72.7%, Pubmed 79.0%), 일부 NAS 기준선보다 매개변수 수가 적습니다.
• PPI의 유도 학습에서 AGNN-w/o share는 0.992±0.001 F1 점수, AGNN-with share는 0.991±0.001로 무작위 및 다수의 수작업 기준선을 능가합니다.
• 검색 과정은 AGNN가 GraphNAS 및 무작위 탐색보다 더 빨리 최고 아키텍처로 수렴할 수 있음을 보여주며, 매개변수 공유가 실제로 계산 시간을 줄여줍니다.
• 제약된 매개변수 공유는 입력/출력 형태가 일치하고 동일한 주의/활성화 구성을 가진 아키텍처 간에만 가중치를 공유하도록 함으로써 이종 GNN 아키텍처 간 학습 안정화를 돕습니다.