[논문 리뷰] Identity-aware Graph Neural Networks

Jiaxuan You, Jonathan M. Gomes-Selman외 2명|arXiv (Cornell University)|2021. 01. 25.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

이 논문은 메시지 전파 GNN을 개선하기 위해 메시지 전파 중에 노드 식별자를 통합함으로써 1-Weisfeiler-Lehman(1-WL) 테스트를 초월하는 표현 능력을 갖춘 일반적인 프레임워크인 ID-GNN(Identity-aware Graph Neural Networks)을 제안한다. 이중 다형성 메시지 전파 또는 사이클 수 특징 증강을 통해 ID-GNN은 노드, 엣지 및 그래프 속성 예측 작업에서 최대 40%의 정확도 향상을 달성하며, 링크 예측에서 뚜렷한 향상과 함께 그래프 분류 벤치마크에서 경쟁적인 성능을 보인다.

ABSTRACT

Message passing Graph Neural Networks (GNNs) provide a powerful modeling framework for relational data. However, the expressive power of existing GNNs is upper-bounded by the 1-Weisfeiler-Lehman (1-WL) graph isomorphism test, which means GNNs that are not able to predict node clustering coefficients and shortest path distances, and cannot differentiate between different d-regular graphs. Here we develop a class of message passing GNNs, named Identity-aware Graph Neural Networks (ID-GNNs), with greater expressive power than the 1-WL test. ID-GNN offers a minimal but powerful solution to limitations of existing GNNs. ID-GNN extends existing GNN architectures by inductively considering nodes' identities during message passing. To embed a given node, ID-GNN first extracts the ego network centered at the node, then conducts rounds of heterogeneous message passing, where different sets of parameters are applied to the center node than to other surrounding nodes in the ego network. We further propose a simplified but faster version of ID-GNN that injects node identity information as augmented node features. Altogether, both versions of ID-GNN represent general extensions of message passing GNNs, where experiments show that transforming existing GNNs to ID-GNNs yields on average 40% accuracy improvement on challenging node, edge, and graph property prediction tasks; 3% accuracy improvement on node and graph classification benchmarks; and 15% ROC AUC improvement on real-world link prediction tasks. Additionally, ID-GNNs demonstrate improved or comparable performance over other task-specific graph networks.

연구 동기 및 목표

• 기존 메시지 전파 GNN의 근본적 한계를 해결하기 위해, 이는 1-WL 그래프 이somorphism 테스트에 의해 제한되며 동일한 이웃 구조를 가진 노드를 구분하지 못한다는 점이다.
• 이 표현 능력의 한계를 극복하면서도 단순성과 확장성 손실 없이, 메시지 전파 GNN의 일반적이고 인덕티브이며 효율적인 확장 기반의 개선을 개발하기 위함이다.
• 다른 크기의 d-정규 그래프에서 동일한 이웃을 가진 노드들, 동일한 이웃을 가졌지만 최단 경로 거리가 다른 노드들, 그리고 그래프 분류 작업에서 서로 다른 d-정규 그래프를 GNN이 식별할 수 있도록 하기 위함이다.
• 기존 GNN 아키텍처에 쉽게 통합할 수 있는 실용적이고 즉시 사용 가능한 솔루션을 제공하여 최소한의 구현 오버헤드로 구현 가능하도록 하기 위함이다.

제안 방법

• ID-GNN은 각 대상 노드 중심의 에고 네트워크를 추출하고, 중심 노드가 주변 노드와 다른 파라미터 세트를 사용하는 반복적 메시지 전파를 수행함으로써 식별성 인식 표현 학습을 가능하게 한다.
• 전체 ID-GNN 버전은 중심 노드와 그 이웃에 대해 별도의 가중치 행렬을 사용하는 다형성 메시지 전파를 적용하여, 노드의 구조적 역할을 식별성에 기반해 구분할 수 있도록 한다.
• 간소화된 버전인 ID-GNN-Fast는 중심 노드에서 시작하는 각 길이의 사이클 수를 특징으로 삼아 노드 식별 정보를 증강 특징으로 통합한다.
• 사이클 수는 각 노드에 대해 한 번만 사전 계산되며, 반복적 재학습이 필요 없이 식별성과 관련된 정보를 구조적으로 포착하는 지문으로 기능한다.
• 이 방법은 표준 GNN 프레임워크와 호환되며, 기존 GNN 레이어의 즉시 교체 가능한 대체 구현이 가능하다.
• 이론적 분석을 통해 ID-GNN은 계산 그래프에서 대칭성이 깨지게 되어 1-WL 테스트를 초월하는 표현 능력을 갖춘다.

실험 결과

연구 질문

• RQ1 메시지 전파 GNN이 1-WL 테스트를 초월하면서도 단순성과 효율성을 유지할 수 있는가?
• RQ2 전이적 one-hot 인코딩에 의존하지 않고 노드 식별성을 인덕티브하게 GNN 메시지 전파에 통합할 수 있는가?
• RQ3 중심 노드와 이웃 노드 간의 파라미터 공유 방식의 최소한의 아키텍처 변경이, 1-WL에 제한된 모델이 실패하는 작업에서 GNN 성능을 크게 향상시킬 수 있는가?
• RQ4 사이클 수를 사용한 특징 증강이 전체 다형성 메시지 전파에 비해 실용적이고 효과적인 대안이 될 수 있는가?
• RQ5 ID-GNN은 노드, 엣지 및 그래프 수준의 예측 작업 전반에서 일반화되며 강력한 성능을 유지할 수 있는가?

주요 결과

• 표준 GNN에 비해 도전적인 노드, 엣지 및 그래프 속성 예측 작업에서 ID-GNN은 평균 40%의 정확도 향상을 달성한다.
• 노드 및 그래프 분류 벤치마크에서 ID-GNN은 기준 GNN보다 3%의 정확도 향상을 보이며, 다양한 데이터셋에서 일관된 성과 향상을 입증한다.
• 실생활 링크 예측 작업에서 ID-GNN은 ROC AUC에서 15% 향상된 성능을 기록하여, 동일한 이웃을 가졌지만 경로 거리가 다른 노드를 구분할 수 있는 능력을 입증한다.
• 사이클 수 특징을 사용하는 ID-GNN-Fast 버전은 전체 다형성 메시지 전파 버전과 유사한 성능을 달성하면서도 훨씬 더 빠르며, 특징 사전 처리가 오직 한 번만 필요하다.
• 그래프 분류 작업에서 최고의 ID-GNN-Full 모델은 PROTEINS에서 93.0%, MUTAG에서 96.5%, PTC에서 62.5%의 정확도를 기록하며, PPGN 및 GSN과 같은 최첨단 모델을 초월하거나 동등하게 성능을 내는다.
• ID-GNN은 작업에 특화된 더 복잡한 아키텍처에 비해 뛰어난 또는 동등한 성능을 보이며, 보편적인 GNN 향상 기법으로서의 일반성과 실용성을 입증한다.