[논문 리뷰] PAN: Path Integral Based Convolution for Deep Graph Neural Networks

Zheng Ma, Ming Li외 1명|arXiv (Cornell University)|2019. 04. 24.

Advanced Graph Neural Networks참고 문헌 36인용 수 16

한 줄 요약

이 논문은 경로 적분 형식을 기반으로 한 그래프 신경망 프레임워크인 PAN(Path Integral-based Convolution)을 제안한다. 이는 메시지 전파를 모든 가능한 경로를 통해 모델링하고 경로 길이에 따라 학습 가능한 가중치를 사용함으로써 기존 그래프 컨볼루션을 일반화한다. 물리학의 경로 적분 형식에서 영감을 얻어 PAN은 그래프 라플라시안을 대체하는 최대 엔트로피 전이(MET) 행렬을 도입하여 빠른 수렴과 벤치마크 작업에서 최고 성능을 달성한다.

ABSTRACT

Convolution operations designed for graph-structured data usually utilize the graph Laplacian, which can be seen as message passing between the adjacent neighbors through a generic random walk. In this paper, we propose PAN, a new graph convolution framework that involves every path linking the message sender and receiver with learnable weights depending on the path length, which corresponds to the maximal entropy random walk. PAN generalizes the graph Laplacian to a new transition matrix we call \emph{maximal entropy transition} (MET) matrix derived from a path integral formalism. Most previous graph convolutional network architectures can be adapted to our framework, and many variations and derivatives based on the path integral idea can be developed. Experimental results show that the path integral based graph neural networks have great learnability and fast convergence rate, and achieve state-of-the-art performance on benchmark tasks.

연구 동기 및 목표

• 기존 그래프 컨볼루션 네트워크가 그래프 라플라시안을 통해 국소적 메시지 전파에 의존하는 데서 비롯되는 한계를 해결하기 위해, 모든 이웃에 대해 동일한 가중치를 가정하고 직접적이거나 짧은 거리의 상호작용만 모델링한다는 점을 개선한다.
• 즉각적인 이웃 외에도 모든 가능한 경로를 고려함으로써 장거리 의존성을 포괄하는 더 표현력 있는 그래프 컨볼루션 프레임워크를 개발한다.
• 통계역학과 경로 적분 원리를 기반으로 한 새로운 인덕티브 바이어스를 체계화하여 국소적에서 전역적 수용 영역으로의 연속적 전이를 가능하게 한다.
• 기존 GCN, GAT 및 기타 GNN 아키텍처를 특수한 경우로 일반화하는 통합 프레임워크를 제공하며, 경로 기반 설계를 통해 새로운 변형을 가능하게 한다.

제안 방법

• 이산 그래프에 적합한 경로 적분 형식을 제안하여, 소스 노드가 타겟 노드에 미치는 影향을 모든 가능한 경로에 대한 가중치 합으로 계산한다. 이 가중치는 경로 길이에 따라 변화하는 버울츠만 인자에 따라 결정된다.
• 경로 적분에서 유도된 최대 엔트로피 전이(MET) 행렬을 도입하여, 마이크로canonical 집합 하에서 샤논 엔트로피를 최대화함으로써 표준 랜덤 워크를 일반화하는 새로운 전이 행렬을 정의한다.
• MET 행렬을 $ M = Z^{-1} \text{diag}(Z_i) \times \big( \text{sum over } n \text{ of } e^{-E(n)/T} A^n \big) $ 로 정의한다. 여기서 $ A^n $ 은 길이 $ n $ 의 경로 수를 세며, $ E(n) $ 은 경로 길이에 대한 학습 가능한 에너지 함수이다.
• 노드 신뢰도에 관계없이 경로 가중치 $ k(n) $ 를 전역 학습 가능한 파라미터로 간주함으로써 모델을 단순화하고, $ X^{(h+1)} = \big( \text{sum over } n \text{ of } k^{(h)}(n) D_n^{-1} A^n \big) X^{(h)} W^{(h)} $ 를 통해 행렬 역행렬 계산 없이 효율적인 계산을 가능하게 한다.
• 허구의 온도 $ T $ 를 사용하여 수용 영역을 제어한다: 낮은 $ T $ 는 짧은 경로(국소적)를 선호하고, 높은 $ T $ 는 긴 경로(전역적)를 선호하여 연속적인 인덕티브 바이어스를 제공한다.
• GCN 유사 아키텍처에 MET 컨볼루션을 적용하여, 정규화된 인접 행렬을 MET 행렬로 대체함으로써 표준 backpropagation을 사용한 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 모든 가능한 메시지 경로를 모델링함으로써 경로 적분 기반 형식이 직접적인 이웃 외의 전파를 고려함으로써 그래프 신경망의 표현 능력을 향상시킬 수 있는가?
• RQ2 통계역학의 원리와 최대 엔트로피 랜덤 워크의 원리를 어떻게 적용하여 그래프 컨볼루션을 위한 새로운 인덕티브 바이어스를 정의할 수 있는가?
• RQ3 경로 적분에서 유도된 MET 행렬이 기존 그래프 라플라시안에 비해 표현력과 학습 동역학 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 제안된 프레임워크가 기존 GNN을 특수한 경우로 통합할 수 있으며, 경로 기반 설계를 통해 새로운 아키텍처를 가능하게 할 수 있는가?
• RQ5 학습 가능한 온도 파rameter $ T $ 가 모델이 국소적 또는 전역적 그래프 구조를 포착하는 데 미치는 영향은 어떠한가?

주요 결과

• PAN 모델은 인용 네트워크(Cora, PubMed, Citeseer)와 Reddit를 포함한 여러 벤치마크 그래프 학습 작업에서 최고 성능을 달성한다.
• GCN, GAT 및 기타 기준 모델에 비해 훈련 중에 상당히 더 빠른 수렴을 보이며, 이는 경로 적분 모델링에서 비롯된 향상된 인덕티브 바이어스 때문으로 추정된다.
• 모델 성능은 다양한 데이터셋에서 뛰어난 안정성을 보이며, 특히 전도성 및 비전도성 노드 분류 벤치마크에서 정확도와 F1 점수 향상이 일관되게 관찰된다.
• 절단 분석 결과, 학습 가능한 경로 길이 가중치를 가진 경로 적분 메커니즘이 핵심임을 확인한다: 고정되거나 가중치가 없는 경로를 사용한 모델은 성능이 열 劣하다.
• MET 행렬은 그래프 라플라시안을 성공적으로 일반화하였으며, 경로 가중치가 제약 조건에 놓이거나 특정 값으로 설정될 경우 GCN과 GAT을 특수한 경우로 복원할 수 있다.
• 온도 파rameter의 사용은 수용 영역 크기의 동적 제어를 가능하게 하여, 모델이 국소적 또는 장거리 의존성을 적응적으로 학습할 수 있도록 한다.