[논문 리뷰] Shortest Path Networks for Graph Property Prediction

Ralph Abboud, Radoslav Dimitrov외 1명|arXiv (Cornell University)|2022. 06. 02.

Advanced Graph Neural Networks인용 수 9

한 줄 요약

이 논문은 짧은 경로 메시지 전파 신경망(SP-MPNNs)을 소개한다. SP-MPNNs는 직접적인 이웃이 아닌 짧은 경로 이웃을 따라 노드 표현을 전파함으로써 정보의 협소함과 과도한 압축 문제를 완화하는 메시지 전파 신경망의 일반화이다. 이 프레임워크는 QM9와 같은 그래프 성질 예측 벤치마크에서 최신 기술 성능을 달성하며, 짧은 경로를 통해 구조화되고 중복이 없는 메시지 집계를 통해 더 표현력 있고 통합적인 노드 표현을 가능하게 한다.

ABSTRACT

Most graph neural network models rely on a particular message passing paradigm, where the idea is to iteratively propagate node representations of a graph to each node in the direct neighborhood. While very prominent, this paradigm leads to information propagation bottlenecks, as information is repeatedly compressed at intermediary node representations, which causes loss of information, making it practically impossible to gather meaningful signals from distant nodes. To address this, we propose shortest path message passing neural networks, where the node representations of a graph are propagated to each node in the shortest path neighborhoods. In this setting, nodes can directly communicate between each other even if they are not neighbors, breaking the information bottleneck and hence leading to more adequately learned representations. Our framework generalizes message passing neural networks, resulting in a class of more expressive models, including some recent state-of-the-art models. We verify the capacity of a basic model of this framework on dedicated synthetic experiments, and on real-world graph classification and regression benchmarks, and obtain state-of-the art results.

연구 동기 및 목표

• 기존 메시지 전파 GNN에서 발생하는 정보 협소함과 과도한 압축 문제를 해결하여 장거리 의존성 학습을 가능하게 하기 위해.
• 직접 연결되지 않은 노드들 간의 직접적 소통을 가능하게 하는 메시지 전파 신경망(MPNNs)의 일반화를 개발하기 위해.
• 제안된 프레임워크의 표현력과 논리적 특성화가 MPNNs 및 기타 GNNs와 비교하여 어떻게 되는지 공식적으로 분석하기 위해.
• 모델이 과도한 압축을 완화하고 실제 세계의 그래프 성질 예측 작업에서 최신 기술 성능을 달성할 수 있는지 경험적으로 검증하기 위해.

제안 방법

• 노드 상태가 i-호프 짧은 경로 이웃에서 오는 메시지를 집계하여 업데이트되는 새로운 메시지 전파 프레임워크를 제안한다. 여기서 i-호프 짧은 경로 이웃은 길이 i인 최단 경로로 도달할 수 있는 노드들로 정의된다.
• 각 호프 수준(1 ≤ i ≤ k)에서 별도로 메시지를 처리하는 다중 호프 집계 메커니즘을 도입하여, 이웃 영역이 서로 겹치지 않도록 하여 중복을 방지한다.
• 다수의 호프 간격을 가진 노드들 간의 직접적 소통를 가능하게 함으로써 MPNNs의 일반화를 도모하고, 순차적 정보 압축 협소함을 극복한다.
• 학습의 안정성을 높이기 위해 가속 가능한 집계 함수와 잔차 연결을 사용하는 간단하고 효과적인 구현인 짧은 경로 네트워크(SPN)를 설계한다.
• 최단 경로 거리를 구조적 인덕티브 바이어스로 활용하여, 전체 쌍방향 어텐션 또는 고차원 인접 행렬 거듭제곱 없이도 전반적인 그래프 구조를 포착할 수 있도록 한다.
• 그래프 분류 및 회귀 작업에 프레임워크를 적용하고, 합성 데이터셋을 사용하여 과도한 압축 감소와 향상된 일반화 성능를 검증한다.

실험 결과

연구 질문

• RQ1 짧은 경로 이웃을 기반으로 메시지를 집계하는 메시지 전파 프레임워크가, 장거리 의존성을 포착하는 데 있어 표준 MPNNs보다 뛰어난 성능을 보일 수 있는가?
• RQ2 제안된 SP-MPNN 프레임워크가 MPNNs보다 더 높은 표현력을 가지는가? 특히 MPNNs가 구분하지 못하는 그래프 쌍을 어떻게 구분하는가?
• RQ3 기존 MPNNs와 비교했을 때, 짧은 경로 이웃을 사용함으로써 과도한 압축이 얼마나 감소하는가?
• RQ4 구조적 복잡성 없이도 실제 세계의 그래프 성질 예측 벤치마크에서 최신 기술 성능을 달성할 수 있는가?

주요 결과

• 제안된 짧은 경로 네트워크(SPNs)는 QM9 그래프 회귀 벤치마크에서 기존 모델, 특히 Graphormer를 포함한 여러 성질에서 최신 기술 성능을 달성한다.
• QM9에서 k=10인 R-SPN은 T=8층일 때 G 성질에 대해 평균 절대 오차(MAE) 0.83을 기록하여 k=1 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 모델은 깊이에 대해 더 뛰어난 강건성을 보였다. k=10일 때 T=4에서 T=8로 층 수를 늘일 경우 오차는 8.6%만 감소한 반면, k=1일 경우는 36.3% 감소하여 더 빠른 수렴과 과도한 압축 감소를 시사한다.
• SP-MPNNs는 MPNNs보다 엄밀히 더 표현력이 뛰어나며, 1-WL 테스트나 최단 경로 그래프 커널이 구분할 수 있는 모든 그래프 쌍을 식별할 수 있다.
• 합성 실험 결과, SPN이 과도한 압축을 완화함을 확인하였다. 하이퍼파ram터 튜닝 없이도 k>1인 고호프 이웃은 k=1보다 뚜렷이 더 뛰어난 성능을 보였다.
• 논리적 특성화 결과, SP-MPNNs는 MPNNs보다 더 넓은 함수 클래스를 포괄할 수 있음을 확인하여, 더 뛰어난 표현 능력을 가짐을 확인하였다.