[논문 리뷰] Principal Neighbourhood Aggregation for Graph Nets

Gabriele Corso, Luca Cavalleri외 3명|arXiv (Cornell University)|2020. 04. 12.

Advanced Graph Theory Research참고 문헌 47인용 수 244

한 줄 요약

논문은 Principal Neighbourhood Aggregation (PNA)을 도입합니다. 이는 연속 특성을 다루기 위해 차수 스케일러와 결합된 다중 집계기를 사용하는 GNN 계층이며, 합성 다중 작업 벤치마크와 실제 데이터셋에서 우수한 성능을 보임을 보여줍니다.

ABSTRACT

Graph Neural Networks (GNNs) have been shown to be effective models for different predictive tasks on graph-structured data. Recent work on their expressive power has focused on isomorphism tasks and countable feature spaces. We extend this theoretical framework to include continuous features - which occur regularly in real-world input domains and within the hidden layers of GNNs - and we demonstrate the requirement for multiple aggregation functions in this context. Accordingly, we propose Principal Neighbourhood Aggregation (PNA), a novel architecture combining multiple aggregators with degree-scalers (which generalize the sum aggregator). Finally, we compare the capacity of different models to capture and exploit the graph structure via a novel benchmark containing multiple tasks taken from classical graph theory, alongside existing benchmarks from real-world domains, all of which demonstrate the strength of our model. With this work, we hope to steer some of the GNN research towards new aggregation methods which we believe are essential in the search for powerful and robust models.

연구 동기 및 목표

• 연속 특징을 가진 GNN에서 이웃 집계의 풍부함이 필요하다는 점을 동기 부여합니다.
• 다중 집계기와 차수 기반 스케일러를 결합하는 Principal Neighbourhood Aggregation (PNA) 아키텍처를 제안합니다.
• 연속 특성 공간에서의 단일 집계기로는 가변성에 대한 주입성이 충분하지 않음을 이론적으로 확립합니다.
• 표준 GNN 계층과 비교하여 다중 작업 합성 벤치마크와 실제 데이터셋에서 PNA를 경험적으로 평가합니다.

제안 방법

• 이웃 다중집합에서 집계기를 사용하여 연속 특징의 주입성 한계를 정의합니다.
• 메시지를 노드 차수(d)에 따라 조절하는 로그 스케일러를 포함한 차수 스케일러를 도입합니다.
• 네 가지 집계기(평균, 최댓값, 최솟값, 표준편차)와 세 가지 차수 스케일러를 텐서 곱으로 결합하여 PNA 연산자를 형성합니다.
• 레이어 간 매개변수를 공유하고 깊이를 가변으로 하는 인코드-프로세스-디코드 GNN 아키텍처에 PNA를 삽입합니다.
• 표현력을 테스트하고 일반화를 평가하기 위해 고전 그래프 문제에서 영감을 받은 다중 작업 합성 벤치마크를 개발합니다.
• 실제 그래프 데이터셋(ZINC, MolHIV, CIFAR10, MNIST)에 대해 PNA를 평가하고 공정한 비교를 위한 기존 학습 프로토콜을 따릅니다.

실험 결과

연구 질문

• RQ1 다중 집계기를 사용하는 것이 연속 특징을 가진 GNN의 표현력을 단일 집계기 모델과 비교하여 향상시키나요?
• RQ2 차수 스케일러가 GNN에서 서로 다른 크기의 이웃 구분 능력에 어떤 영향을 미치나요?
• RQ3 PNA가 합성 다중 작업 벤치마크와 실제 그래프 데이터셋에서 기존 GNN 계층보다 더 나은 성능을 보일 수 있나요?
• RQ4 PNA가 더 큰 그래프 및 다양한 그래프 도메인으로의 외삽에 미치는 영향은 무엇인가요?

주요 결과

• PNA는 다중 작업 인공 벤치마크에서 최첨단 모델을 일관되게 능가합니다.
• PNA는 테스트된 모든 아키텍처 레이아웃 및 그래프 유형에서 더 강한 성능을 보입니다.
• 실제 화학 벤치마크에서 스케일러를 사용하는 PNA가 성능을 향상시키는 반면, 스케일러가 없는 버전은 이웃 크기 구분에서 어려움을 겪습니다.
• 기초 모델의 잠재 차원을 증가시켜도 PNA 성능과의 차이가 줄지 않습니다.
• 추가 그래프에서도 PNA가 우수한 성능을 유지하지만, 다른 모델에서 특성 폭발이 발생할 수 있습니다.