[논문 리뷰] Distance Encoding -- Design Provably More Powerful GNNs for Structural Representation Learning

Pan Li, Yanbang Wang외 2명|arXiv (Cornell University)|2020. 08. 31.

Advanced Graph Neural Networks참고 문헌 47인용 수 23

한 줄 요약

이 논문은 거리 인코딩(Distance Encoding, DE)을 제안하며, 이는 목표 노드 집합으로부터 모든 다른 노드까지의 거리를 인코딩하여 GNN의 표현력을 향상시키는 일반적인 구조적 특징의 클래스이다. 이를 통해 1-Weisfeiler-Lehman 테스트를 초월하는 표현력을 확보하게 된다. 이 방법은 노드 역할 예측, 링크 예측, 삼각형 예측에서 성능을 향상시키며, 표준 GNN 및 최신 기술(SOTA) 기준선 대비 최대 15% 높은 정확도와 AUC를 달성한다.

ABSTRACT

Learning structural representations of node sets from graph-structured data is crucial for applications ranging from node-role discovery to link prediction and molecule classification. Graph Neural Networks (GNNs) have achieved great success in structural representation learning. However, most GNNs are limited by the 1-Weisfeiler-Lehman (WL) test and thus possible to generate identical representation for structures and graphs that are actually different. More powerful GNNs, proposed recently by mimicking higher-order-WL tests, only focus on entire-graph representations and cannot utilize sparsity of the graph structure to be computationally efficient. Here we propose a general class of structure-related features, termed Distance Encoding (DE), to assist GNNs in representing node sets with arbitrary sizes with strictly more expressive power than the 1-WL test. DE essentially captures the distance between the node set whose representation is to be learnt and each node in the graph, which includes important graph-related measures such as shortest-path-distance and generalized PageRank scores. We propose two general frameworks for GNNs to use DEs (1) as extra node attributes and (2) further as controllers of message aggregation in GNNs. Both frameworks may still utilize the sparse structure to keep scalability to process large graphs. In theory, we prove that these two frameworks can distinguish node sets embedded in almost all regular graphs where traditional GNNs always fail. We also rigorously analyze their limitations. Empirically, we evaluate these two frameworks on node structural roles prediction, link prediction and triangle prediction over six real networks. The results show that our models outperform GNNs without DEs by up-to 15% improvement in average accuracy and AUC. Our models also significantly outperform other SOTA baselines particularly designed for those tasks.

연구 동기 및 목표

• 표준 GNN이 1-Weisfeiler-Lehman(1-WL) 테스트에 의해 제한되며, 서로 다른 구조를 가진 그래프를 구분하지 못하는 한계를 해결한다.
• 구조적 표현 학습을 위한 증명 가능하게 높은 표현력을 가진 일반적이고 확장 가능한 방법을 개발한다.
• GNN이 임의의 크기의 노드 집합을 학습할 때 그래프의 희소성 효과를 효과적으로 활용할 수 있도록 한다.
• 계산 효율성을 희생시키지 않은 채 거리 측정을 통한 전역 구조적 맥락을 포착하는 특징 공학 기법을 설계한다.

제안 방법

• 각 노드가 목표 노드 집합으로부터 얼마나 떨어져 있는지를 측정하는 방식(예: 최단경로 거리, 일반화된 PageRank 점수 등)을 사용하여, 목표 노드 집합으로부터의 거리를 인코딩하는 구조적 특징으로서 거리 인코딩(DE)을 도입한다.
• DE를 GNN의 추가 노드 특성으로 통합하여 노드 표현에 전역 구조적 맥락을 강화한다.
• 메시지 전파 메커니즘을 확장하여 DE를 메시지 집계의 제어자로 사용함으로써 동적이고 거리 인식 기반의 정보 흐름을 가능하게 한다.
• 그래프의 희소성 구조를 유지함으로써 계산 효율성을 확보하여 대규모 그래프로의 확장성을 보장한다.
• 이론적 분석을 통해 1-WL 기반 GNN이 실패하는 거의 모든 정규 그래프에서 노드 집합을 구분할 수 있음을 증명한다.
• 그래프 이somorphism 이론을 사용하여 제안된 프레임워크의 표현력을 공식화하며, 이는 비이somorphic 그래프를 구분하는 데서 1-WL 테스트를 초월함을 보여준다.

실험 결과

연구 질문

• RQ1 거리 인코딩은 1-WL 기반 GNN보다 증명 가능하게 더 높은 표현력을 갖는 구조적 표현 학습의 대안이 될 수 있는가?
• RQ2 대규모 희소 그래프에서 계산 효율성을 유지하면서 DE를 GNN에 어떻게 통합할 수 있는가?
• RQ3 DE를 강화한 GNN은 노드 역할 예측, 링크 예측, 삼각형 예측 작업에서 얼마나 향상된 성능을 보이는가?
• RQ4 제안된 DE 기반 프레임워크의 이론적 한계는 그래프 구조를 구분하는 데서 어느 정도인가?

주요 결과

• 제안된 DE 기반 GNN 프레임워크는 실세계 네트워크 6종에서 노드 구조적 역할 예측, 링크 예측, 삼각형 예측 작업에서 평균 정확도와 AUC가 최대 15% 향상된다.
• 구조적 인코딩이 없는 표준 GNN에 비해 DE를 강화한 GNN이 뚜렷하게 뛰어난 성능을 보이며, 거리 인식 특징이 모델 표현력 향상에 결정적인 역할을 한다는 것을 입증한다.
• 특히 도전적인 구조적 일반화 작업에서 노드 역할, 링크, 삼각형 예측을 위해 특별히 설계된 다른 최신 기술(SOTA) 기준선을 뛰어넘는 성능을 기록한다.
• 이론적 분석을 통해 두 프레임워크 모두 1-WL 기반 GNN이 실패하는 거의 모든 정규 그래프에서 노드 집합을 구분할 수 있음을 확인하여, 뛰어난 표현력을 증명한다.
• 그래프의 희소성 유지 덕분에 DE를 노드 특성 또는 메시지 집계 제어자로 통합함으로써 확장성 유지가 가능하다.
• 실험 결과는 다양한 그래프 유형과 작업에서 일관된 성능 향상이 관찰되어 DE 접근법의 일반화 가능성에 대한 타당성을 입증한다.