[논문 리뷰] Rethinking Graph Neural Network Search from Message-passing.

Shaofei Cai, Liang Li외 5명|arXiv (Cornell University)|2021. 03. 26.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 메시지 전파 깊이와 메커니즘을 적절히 갖춘 최적의 GNN 아키텍처를 자동으로 발견할 수 있는 NAS 프레임워크인 Graph Neural Architecture Search (GNAS)를 제안한다. 특징 필터링과 이웃 집합화라는 세분화된 원자 연산을 포함한 트리 구조 컴퓨팅 파라다임을 도입함으로써, GNAS는 세 가지 벤치마크 작업을 수행하는 다섯 개의 대규모 그래프 데이터셋에서 최신 수준의 수동 및 탐색 기반 GNN보다 뛰어난 성능을 보였다.

ABSTRACT

Graph neural networks (GNNs) emerged recently as a standard toolkit for learning from data on graphs. Current GNN designing works depend on immense human expertise to explore different message-passing mechanisms, and require manual enumeration to determine the proper message-passing depth. Inspired by the strong searching capability of neural architecture search (NAS) in CNN, this paper proposes Graph Neural Architecture Search (GNAS) with novel-designed search space. The GNAS can automatically learn better architecture with the optimal depth of message passing on the graph. Specifically, we design Graph Neural Architecture Paradigm (GAP) with tree-topology computation procedure and two types of fine-grained atomic operations (feature filtering and neighbor aggregation) from message-passing mechanism to construct powerful graph network search space. Feature filtering performs adaptive feature selection, and neighbor aggregation captures structural information and calculates neighbors' statistics. Experiments show that our GNAS can search for better GNNs with multiple message-passing mechanisms and optimal message-passing depth. The searched network achieves remarkable improvement over state-of-the-art manual designed and search-based GNNs on five large-scale datasets at three classical graph tasks. Codes can be found at this https URL

연구 동기 및 목표

• 수동 GNN 설계의 한계를 해결하기 위해 전문 지식과 막대한 초모수 튜닝에 의존하는 방식을 줄이기 위해.
• GNN에서 메시지 전파 깊이를 수동으로 나열할 필요를 제거하기 위해.
• 우수한 성능을 낼 수 있는 더 나은 GNN 아키텍처를 자동으로 발견할 수 있는 탐색 공간을 개발하기 위해.
• 표준 설계를 초월한 메시지 전파 메커니즘의 효과성을 자동 아키텍처 탐색을 통해 탐색하기 위해.
• 제안된 탐색 프레임워크를 사용하여 대규모 그래프 학습 작업에서 최신 수준의 성능을 달성하기 위해.

제안 방법

• 체계적인 아키텍처 탐색을 가능하게 하는 트리 구조 컴퓨팅 구조를 가진 그래프 신경망 아키텍처 패러다임(GAP)을 제안한다.
• 세분화된 원자 연산 두 가지를 도입한다: 적응형 특징 선택을 위한 특징 필터링과 구조적 정보를 캡처하기 위한 이웃 집합화.
• 메시지 전파 메커니즘을 기반으로 한 탐색 공간을 설계하여 다양한 아키텍처 구성 요소를 탐색할 수 있도록 한다.
• 신경망 아키텍처 탐색(NAS)을 활용해 메시지 전파 연산의 최적의 깊이와 조합을 자동으로 식별한다.
• 효율적인 아키텍처 탐색 과정 최적화를 위해 가분성 있는 탐색 전략을 사용한다.
• 다양한 메시지 전파 메커니즘과 동적 깊이 선택을 지원하는 탐색 공간을 활용한다.

실험 결과

연구 질문

• RQ1 신경망 아키텍처 탐색이 그래프 신경망에 효과적으로 적용되어 최적의 메시지 전파 메커니즘 설계를 자동화할 수 있는가?
• RQ2 다양한 그래프 학습 작업에 대해 최적의 메시지 전파 깊이는 무엇이며, 이를 자동으로 발견할 수 있는가?
• RQ3 세분화된 원자 연산인 특징 필터링과 이웃 집합화는 더 강력한 GNN 아키텍처를 구축하는 데 어떻게 기여하는가?
• RQ4 제안된 탐색 공간은 기존의 수동 설계 및 탐색 기반 GNN보다 대규모 그래프 벤치마크에서 뛰어난 성능을 낼 수 있는가?
• RQ5 GAP에서의 트리 구조 컴퓨팅 구조는 표준 탐색 공간에 비해 더 효과적이고 효율적인 아키텍처 탐색을 가능하게 하는가?

주요 결과

• 검색된 GNN 아키텍처는 세 가지 고전적인 그래프 학습 작업을 수행하는 다섯 개의 대규모 그래프 데이터셋에서 최신 수준의 성능을 달성했다.
• GNAS는 최적의 메시지 전파 깊이를 갖춘 아키텍처를 발견하여 수동 초모수 튜닝이 필요 없어졌다.
• 탐색 공간 내 특징 필터링과 이웃 집합화의 조합은 표준 GNN보다 뚜렷한 성능 향상을 이끌어냈다.
• 평가된 모든 벤치마크에서 수동 설계 및 기존 탐색 기반 GNN보다 제안된 프레임워크가 뛰어난 성능을 보였다.
• 탐색 과정은 효율적이고 효과적이었으며, 제안된 탐색 공간의 확장성과 강건성을 입증했다.