[논문 리뷰] Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning

Pan Li, Yanbang Wang외 2명|arXiv (Cornell University)|2020. 08. 31.

Advanced Graph Neural Networks참고 문헌 68인용 수 98

한 줄 요약

Distance Encoding (DE)을 도입하여 노드 집합 거리를 활용해 GNN의 표현력을 1-WL을 넘어 확장합니다; 이로써 이론적 보장과 노드 집합 작업에서의 경험적 개선을 제공하는 DE-GNN 및 DEA-GNN 프레임워크를 제시합니다.

ABSTRACT

Learning representations of sets of nodes in a graph is crucial for applications ranging from node-role discovery to link prediction and molecule classification. Graph Neural Networks (GNNs) have achieved great success in graph representation learning. However, expressive power of GNNs is limited by the 1-Weisfeiler-Lehman (WL) test and thus GNNs generate identical representations for graph substructures that may in fact be very different. More powerful GNNs, proposed recently by mimicking higher-order-WL tests, only focus on representing entire graphs and they are computationally inefficient as they cannot utilize sparsity of the underlying graph. Here we propose and mathematically analyze a general class of structure-related features, termed Distance Encoding (DE). DE assists GNNs in representing any set of nodes, while providing strictly more expressive power than the 1-WL test. DE captures the distance between the node set whose representation is to be learned and each node in the graph. To capture the distance DE can apply various graph-distance measures such as shortest path distance or generalized PageRank scores. We propose two ways for GNNs to use DEs (1) as extra node features, and (2) as controllers of message aggregation in GNNs. Both approaches can utilize the sparse structure of the underlying graph, which leads to computational efficiency and scalability. We also prove that DE can distinguish node sets embedded in almost all regular graphs where traditional GNNs always fail. We evaluate DE on three tasks over six real networks: structural role prediction, link prediction, and triangle prediction. Results show that our models outperform GNNs without DE by up-to 15\% in accuracy and AUROC. Furthermore, our models also significantly outperform other state-of-the-art methods especially designed for the above tasks.

연구 동기 및 목표

• 표준 WLGNN의 표현력 한계, 1-WL 테스트에 의해 제한됨을 해결한다.
• 타깃 노드 집합에서 모든 그래프 노드까지의 거리를 인코딩하는 Distance Encoding (DE)을 도입한다.
• DE를 특징으로 통합하고 메시지 집계의 제어기로 DE를 활용하는 두 가지 DE-enabled 프레임워크(DE-GNN 및 DEA-GNN)를 제안한다.
• DE 기반 모델이 희소한 규칙 그래프에서 대부분의 비동형 구조를 구분함을 보이는 이론적 보장을 제공한다.
• 실제 네트워크에서 노드 구조적 역할, 연결 예측, 삼각형 예측 작업에서 경험적 이점을 입증한다.

제안 방법

• Distance Encoding (DE)를 목표 노드 집합에서 모든 그래프 노드까지의 거리를 벡터로 매핑하는 순열 불변 함수로 정의하며, 최단 경로 거리(SPD) 및 일반화된 PageRank 점수와 같은 지표를 사용한다.
• DE를 (i) DE-GNN의 추가 노드 특징으로 사용하여 h_v^(0)에 DE(v|S)를 포함하거나; 또는 (ii) DEA-GNN의 집계 제어기로 사용하여 DE(u|v)가 이웃 집계를 안내한다.
• DE는 간단한 집계를 통해 구현될 수 있음을 제시하며, 예를 들면 zeta(u|S) = AGG{ zeta(u|v) : v in S }이고 zeta(u|v) = f3(l_uv)이며 l_uv는 임의 워크 행렬 W = AD^{-1}의 거듭제곱에서 유도된다(예: SPD 또는 GPR).
• 이론적 결과는: (a) DE-GNN/DEA-GNN가 거의 모든 희소 r-정규 그래프에서 같은 크기의 노드 집합을 O(log n) 깊이에서 높은 확률로 구별할 수 있음, (b) DE-1이 불충분하지만 DE-2가 도움이 되는 DRG에서의 제한, (c) 거리-정규 그래프에서 DE-1의 한계, (d) 고차 DE(p>=2)가 일부 DRG 한계를 극복할 수 있음.

실험 결과

연구 질문

• RQ1 Distance Encoding (DE)가 노드 집합의 구조적 표현에 대해 1-WL보다 엄격히 더 표현력이 있을 수 있는가?
• RQ2 표준 WLGNN이 실패하는 희소한 규칙 그래프에서 DE-GNN 및 DEA-GNN 프레임워크가 비동형 노드 집합을 이론적으로 구별하는가?
• RQ3 거리-정규 그래프에서 특히 DE 기반 접근법의 이론적 한계는 무엇인가?
• RQ4 실제 네트워크에서 노드 구조적 역할, 연결 예측, 삼각형 예측 작업에 대해 DE-GNN 및 DEA-GNN가 실험적으로 개선을 보이는가?

주요 결과

• DE-장착 GNN은 SPD를 DE 구성요소로 사용하여 거의 모든 희소 r-정규 그래프에 내재된 동등한 크기의 비동형 노드 집합을 높은 확률로 구별할 수 있다.
• DE-GNN 및 DEA-GNN은 노드-구조적 역할 분류, 연결 예측, 삼각형 예측 작업에서 표준 WLGNN baselines보다 평균 정확도 또는 AUC 기준으로 최대 15%의 향상을 보인다.
• DE-1은 거리-정규 그래프에서 한계가 있지만, DE-2(노드 쌍 수준 인코딩 사용)는 DE-1이 구별하지 못하는 특정 DRG를 구별할 수 있다.
• 일부 DRG 설정에서는 더 높은 차수 DE 표현을 사용하지 않으면 DE 기반 방법이 여전히 2-WL 테스트에 의해 제한된다.
• 여섯 개의 실제 네트워크에 대한 실험 평가에서 DE-GNN/DEA-GNN가 Ring-GNN/PPGN 및 SEAL 등을 포함한 기준 모델보다 제시된 작업에서 우수한 성능을 보인다.