[논문 리뷰] Design Space for Graph Neural Networks

Jiaxuan You, Rex Ying외 1명|arXiv (Cornell University)|2020. 11. 17.

Advanced Graph Neural Networks참고 문헌 55인용 수 159

한 줄 요약

이 논문은 315,000개의 설계와 32개 과제에 걸친 일반적인 GNN 설계 공간을 정의하고, 설계 전이를 안내하는 과제 유사성 공간을 도입하며, 확장 가능한 평가 방법과 재현 가능한 GNN 연구를 가능하게 하는 GraphGym 플랫폼을 제시한다.

ABSTRACT

The rapid evolution of Graph Neural Networks (GNNs) has led to a growing number of new architectures as well as novel applications. However, current research focuses on proposing and evaluating specific architectural designs of GNNs, as opposed to studying the more general design space of GNNs that consists of a Cartesian product of different design dimensions, such as the number of layers or the type of the aggregation function. Additionally, GNN designs are often specialized to a single task, yet few efforts have been made to understand how to quickly find the best GNN design for a novel task or a novel dataset. Here we define and systematically study the architectural design space for GNNs which consists of 315,000 different designs over 32 different predictive tasks. Our approach features three key innovations: (1) A general GNN design space; (2) a GNN task space with a similarity metric, so that for a given novel task/dataset, we can quickly identify/transfer the best performing architecture; (3) an efficient and effective design space evaluation method which allows insights to be distilled from a huge number of model-task combinations. Our key results include: (1) A comprehensive set of guidelines for designing well-performing GNNs; (2) while best GNN designs for different tasks vary significantly, the GNN task space allows for transferring the best designs across different tasks; (3) models discovered using our design space achieve state-of-the-art performance. Overall, our work offers a principled and scalable approach to transition from studying individual GNN designs for specific tasks, to systematically studying the GNN design space and the task space. Finally, we release GraphGym, a powerful platform for exploring different GNN designs and tasks. GraphGym features modularized GNN implementation, standardized GNN evaluation, and reproducible and scalable experiment management.

연구 동기 및 목표

• 단일 아키텍처 평가를 넘어 전체 GNN 설계 공간을 연구하도록 동기를 부여한다.
• 층 내, 층 간, 그리고 학습 구성 차원을 포괄하는 일반적인 GNN 설계 공간을 정의한다.
• 작업 간 빠른 설계 전이를 가능하게 하는 작업 유사성 지표를 갖춘 GNN 작업 공간을 제안한다.
• 수백만 개의 모델-작업 조합에서 통찰을 도출하기 위한 효율적인 설계 공간 평가 방법을 개발한다.
• GNN 설계와 작업을 탐색하기 위한 모듈식이고 표준화된 플랫폼으로 GraphGym을 공개한다.

제안 방법

• 층 내, 층 간, 그리고 학습 구성에 걸친 12개 설계 차원을 정의하여 315,000 설계의 GNN 공간을 만든다.
• 작업 간 앵커 모델 성능의 Kendall 순위 상관관계를 통해 작업 유사성을 측정하여 작업 공간을 개발한다.
• 고정된 계산 예산 내에서 많은 모델-작업 조합에 대해 설계를 평가하기 위해 제어된 무작위 탐색을 사용한다.
• 디자인 차원당 96개의 실험에 대해 순위 분석 및 통계 검정을 통해 가이드라인 설계 선택을 식별한다.
• 실용적 전이 실험을 위해 설계 공간을 축소하고 과제 간 설계를 전이하여 검증한다.
• 재현 가능한 실험을 가능하게 하는 모듈식 GNN 구현과 표준화된 평가를 갖춘 GraphGym을 공개한다.

실험 결과

연구 질문

• RQ1 일반적인 GNN 설계 공간이 GCN이나 GAT와 같은 개별 아키텍처를 넘어 강인한 설계 원리를 밝힐 수 있는가?
• RQ2 제안된 작업 유사성 지표로 정의된 유사한 작업 간에 최상위 설계가 얼마나 잘 전이되는가?
• RQ3 층 내, 층 간, 학습 구성 전반에 걸친 효과적인 GNN 설계에 어떤 지침이 제시되는가?

주요 결과

• BatchNorm의 추가는 일반적으로 GNN 학습에 도움이 된다.
• PReLU가 GNN에 대해 강력한 활성화 선택으로 부상한다.
• 합(sum) 집계는 작업 전반에서 실증적으로 매우 표현력이 높다.
• Skip-Cat 연결이 종종 Skip-Sum보다 우수하다.
• 배치 크기 32와 학습률 0.01이 유리하며, 많은 경우 Adam이 SGD보다 우수하다.
• 작업 공간은 유사한 작업 간 최적 설계를 전이하도록 하며, 전이 성능의 높은 상관관계를 보인다.
• 응축된 설계 공간은 도전적인 새로운 작업에서 최첨단 성능을 달성할 수 있다 (예: ogbg-molhiv).