[논문 리뷰] GraphNAS: Graph Neural Architecture Search with Reinforcement Learning

Yang Gao, Hong Yang외 3명|arXiv (Cornell University)|2019. 04. 22.

Advanced Graph Neural Networks참고 문헌 20인용 수 70

한 줄 요약

GraphNAS는 순환 컨트롤러와 강화 학습을 사용하여 그래프 신경망 아키텍처를 자동으로 검색하며, 노드 분류 작업에서 수작업으로 설계된 모델에 비해 경쟁력 있거나 우수한 성능을 달성합니다. 전이적(transductive) 및 귀납적(inductive) 설정을 지원하고, 검색 효율성을 높이기 위해 파라미터 공유를 도입합니다.

ABSTRACT

Graph Neural Networks (GNNs) have been popularly used for analyzing non-Euclidean data such as social network data and biological data. Despite their success, the design of graph neural networks requires a lot of manual work and domain knowledge. In this paper, we propose a Graph Neural Architecture Search method (GraphNAS for short) that enables automatic search of the best graph neural architecture based on reinforcement learning. Specifically, GraphNAS first uses a recurrent network to generate variable-length strings that describe the architectures of graph neural networks, and then trains the recurrent network with reinforcement learning to maximize the expected accuracy of the generated architectures on a validation data set. Extensive experimental results on node classification tasks in both transductive and inductive learning settings demonstrate that GraphNAS can achieve consistently better performance on the Cora, Citeseer, Pubmed citation network, and protein-protein interaction network. On node classification tasks, GraphNAS can design a novel network architecture that rivals the best human-invented architecture in terms of test set accuracy.

연구 동기 및 목표

• GNN 설계에서 아키텍처 검색 자동화를 통해 수작업 노력을 줄인다.
• 생성된 GNN의 검증 정확도를 최대화하기 위해 강화 학습을 활용한다.
• 파라미터 공유로 대규모 GNN 공간에서 효율적인 검색을 가능하게 한다.
• 전이적 및 귀납적 노드 분류 작업 모두에서 GraphNAS를 평가한다.
• GraphNAS의 설계가 인간이 만든 아키텍처와 대등하거나 능가할 수 있음을 입증한다.

제안 방법

• 컨트롤러로서 순환 신경망을 사용하여 아키텍처 설명을 토큰의 시퀀스로 생성한다.
• 레이어별로 샘플링, 상관관계, 융합(aggregation), 잔여(residual), 게이팅 함수를 포함하는 유연한 탐색 공간을 정의한다.
• 생성된 GNN의 검증 정확도를 기대값으로 최대화하기 위해 정책 경사(policy gradient)로 컨트롤러를 학습한다.
• 아주 신중한 공유 전략으로 ARCHITECTURAL 호환성을 존중하면서 생성된 자식 GNN 간 매개변수를 공유해 학습 속도를 높인다.
• 각 샘플링된 GNN을 검증 세트에서 학습시켜 컨트롤러 업데이트 용 보상 신호를 얻는다.
• 훈련된 컨트롤러에서 여러 모델을 샘플링하고 가장 우수한 후보를 처음부터 재학습시켜 아키텍처를 도출한다.]
• table_headers化 table_headers

실험 결과

연구 질문

• RQ1 강화 학습이 크고 이질적인 탐색 공간에서 그래프 신경망 아키텍처의 탐색을 효과적으로 자동화할 수 있는가?
• RQ2 GraphNAS가 표준 데이터셋에서 전이적 및 귀납적 설정 모두에서 수작업으로 설계된 baselines를 능가하거나 대등한 성능을 내는 GNN을 생산하는가?
• RQ3 파라미터 공유가 최종 모델 품질을 희생하지 않으면서 탐색 효율성을 개선하는가?
• RQ4 샘플링, 어텐션, 융합, 잔여 연결 등 다양한 아키텍처 요소의 선택이 GNN 성능에 어떤 영향을 미치는가?

주요 결과

• GraphNAS는 Cora, Citeseer, 및 PubMed에서 정확도 기준으로 여러 기준선보다 일관되게 향상시킨다.
• Cora에서 GraphNAS는 2-layer 아키텍처로 84.2% ±1.0% 정확도를 달성한다.
• Citeseer와 PubMed에서 GraphNAS는 각각 73.1% ±0.9% 및 79.6% ±0.4% 정확도를 달성한다.
• PPI 귀납적 작업에서 잇기(skip) 연결 없이도 GraphNAS는 98.6% ±0.1% micro-F1로 강력한 기준선을 능가한다.
• 매개변수 공유는 탐색 효율을 향상시키고, 다수의 경우 최종 아키텍처 성능도 향상시키며, 처음부터 학습하는 것보다 우수한 성능을 보여준다.
• GraphNAS로 확보된 아키텍처는 벤치마크 데이터셋에서 인간이 발명한 모델(예: GeniePath, GAT) 대비 경쟁력 있거나 우수한 성능에 도달한다.