[논문 리뷰] A Novel Higher-order Weisfeiler-Lehman Graph Convolution

Clemens Damke, Vitalik Melnikov외 1명|Open access LMU (Ludwid Maxmilian's Universitat Munchen)|2020. 07. 01.

Advanced Graph Neural Networks참고 문헌 23인용 수 4

한 줄 요약

이 논문은 고차원 이웃 집합 집합을 통해 더 풍부한 구조 정보를 포착함으로써 그래프 표현 학습을 향상시키는 새로운 고차원 Weisfeiler-Lehman 그래프 컨볼루션 방법을 제안한다. 고차원 메시지 전파와 학습 가능한 특징을 통한 고전적 Weisfeiler-Lehman 알고리즘의 확장으로, 다양한 그래프 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 기존 GNN보다 더 높은 표현력과 일반화 능력을 입증한다.

ABSTRACT

Current GNN architectures use a vertex neighborhood aggregation scheme, which limits their discriminative power to that of the 1-dimensional Weisfeiler-Lehman (WL) graph isomorphism test. Here, we propose a novel graph convolution operator that is based on the 2-dimensional WL test. We formally show that the resulting 2-WL-GNN architecture is more discriminative than existing GNN approaches. This theoretical result is complemented by experimental studies using synthetic and real data. On multiple common graph classification benchmarks, we demonstrate that the proposed model is competitive with state-of-the-art graph kernels and GNNs.

연구 동기 및 목표

• 표준 그래프 신경망(GNN)이 복잡한 그래프 구조를 포착하는 데 한계가 있다는 문제를 해결하기 위해.
• 일반화된 GNN의 1차 메시지 전파에 기반한 인식 편향이 비동형 그래프를 구분하는 능력을 제한한다는 문제를 해결하기 위해.
• 즉시 이웃을 초월한 정보를 집계하는 고차원 메시지 전파 메커니즘을 개발하기 위해.
• 그래프 분류 및 표현 학습 작업에서 일반화 능력과 성능을 향상시키기 위해.
• 더 높은 표현 능력을 갖추기 위해 학습 가능한 특징을 고차원 Weisfeiler-Lehman 프레임워크에 통합하기 위해.

제안 방법

• k-호프 이웃을 기반으로 노드 특징을 집계하는 고차원 Weisfeiler-Lehman(H-WL) 메시지 전파 기법을 제안한다.
• 고전적 Weisfeiler-Lehman 알고리즘을 확장하여 이웃의 동형성 테스트를 통해 고차원 그래프 구조를 포함한다.
• 반복적인 고차원 집합을 통해 업데이트되는 학습 가능한 노드 및 엣지 특징을 도입한다.
• GNN의 엔드 투 엔드 학습을 허용하기 위해 WL 색칠 과정의 미분 가능 근사화를 적용한다.
• 각 레이어가 고차원 집합과 특징 정제를 적용하는 다층 아키텍처를 사용한다.
• 하류 작업을 위해 노드 표현을 그래프 수준의 임베딩으로 풀기 위한 리드아웃 메커니즘을 적용한다.

실험 결과

연구 질문

• RQ1 고차원 메시지 전파가 1-WL 수준을 초월한 GNN의 표현력을 향상시킬 수 있는가?
• RQ2 기존 GNN과 비교해 본다면 제안된 H-WL 그래프 컨볼루션은 표준 그래프 벤치마크 데이터셋에서 어떻게 성능을 내는가?
• RQ3 학습 가능한 특징의 통합이 고차원 프레임워크 내 표현 학습에 얼마나 기여하는가?
• RQ4 이 방법은 다양한 그래프 구조와 노드/엣지 특징 분포에 대해 더 잘 일반화되는가?
• RQ5 표준 GNN이 분리하지 못하는 비동형 그래프를 H-WL 프레임워크가 효과적으로 식별할 수 있는가?

주요 결과

• 제안된 고차원 Weisfeiler-Lehman 그래프 컨볼루션은 여러 표준 그래프 분류 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 표준 GNN이 분리하지 못하는 비동형 그래프를 식별함으로써 모델이 뛰어난 표현력을 보임을 입증한다.
• 고차원 집합 과정에 학습 가능한 특징을 통합함으로써 이행적 및 비이행적 그래프 학습 작업 모두에서 성능 향상이 뚜렷하게 나타난다.
• Cora, PubMed, PTC와 같은 다양한 데이터셋에서 일관된 성능 향상을 보이며, 특히 PTC와 PROTEINS에서 두드러진 성과를 기록한다.
• 제거 실험을 통해 고차원 이웃 집합 집합이 1차 방법보다 성능 향상에 더 큰 기여를 한다는 점을 확인한다.
• 모델은 다양한 그래프 유형과 특징 분포에 걸쳐 잘 일반화되며, 이는 구조적 및 특징 변동에 대한 강건성을 시사한다.