[논문 리뷰] Pseudo-Riemannian Graph Convolutional Networks

Bo Xiong, Shichao Zhu외 4명|arXiv (Cornell University)|2021. 06. 06.

Morphological variations and asymmetry인용 수 8

한 줄 요약

이 논문은 정수 비영인 곡률을 가진 허위 리만 다양체로 그래프 신경망을 확장하는 새로운 프레임워크인 허위 리만 그래프 컨볼루션 네트워크(Q-GCN)를 소개한다. 이는 복잡하고 이질적인 그래프 구조를 영리하게 모델링할 수 있도록 한다. 지오데식 연결성 문제를 다루기 위해 새로운 지오데식 도구를 개발함으로써, Q-GCN은 다양한 그래프 구조에서 노드 분류, 링크 예측, 그래프 재구성 작업에서 최신 기술 수준의 성능을 달성하며, 리만 및 유클리드 기반 모델들을 능가한다.

ABSTRACT

Graph convolutional networks (GCNs) are powerful frameworks for learning embeddings of graph-structured data. GCNs are traditionally studied through the lens of Euclidean geometry. Recent works find that non-Euclidean Riemannian manifolds provide specific inductive biases for embedding hierarchical or spherical data. However, they cannot align well with data of mixed graph topologies. We consider a larger class of pseudo-Riemannian manifolds that generalize hyperboloid and sphere. We develop new geodesic tools that allow for extending neural network operations into geodesically disconnected pseudo-Riemannian manifolds. As a consequence, we derive a pseudo-Riemannian GCN that models data in pseudo-Riemannian manifolds of constant nonzero curvature in the context of graph neural networks. Our method provides a geometric inductive bias that is sufficiently flexible to model mixed heterogeneous topologies like hierarchical graphs with cycles. We demonstrate the representational capabilities of this method by applying it to the tasks of graph reconstruction, node classification and link prediction on a series of standard graphs with mixed topologies. Empirical results demonstrate that our method outperforms Riemannian counterparts when embedding graphs of complex topologies.

연구 동기 및 목표

• 계층적이고 순환적인 요소를 동시에 포함하는 복잡하고 이질적인 그래프 구조를 모델링하는 데에 기존 그래프 신경망이 가지는 한계를 해결하기 위해.
• 신경망 연산의 적용을 방해하는 허위 리만 다양체 내의 지오데식 연결성 문제를 극복하기 위해.
• 상수 비영인 곡률을 가진 허위 리만 다양체로까지 일반화된 GCN의 원칙적이고 미분 가능한 프레임워크를 개발하기 위해.
• 혼합 곡률을 탄력적으로 수용하면서도 표준 경사 하강법을 통한 최적화를 유지할 수 있는 기하학적 인덕티브 바이어스를 제공하기 위해.
• 복잡한 구조를 가진 표준 벤치마크에서 제안된 방법의 표현력과 효율성을 실증적으로 검증하기 위해.

제안 방법

• 허위 리만 다양체에서의 지오데식 연결성 문제를 회피하기 위해 미분동형 다양체 구조(S × R)를 도입하여 부드러운 지오데식 연산을 가능하게 한다.
• 허위 리만 기하학의 부정확한 계량에 적합한 새로운 지오데식 도구를 정의하며, 이는 탄성 선형 변환과 집합 연산을 포함한다.
• 다양체의 지오데식 설정에 맞게 조정된 지수 사상과 그 역함수를 사용한 일반화된 탄성 공간 연산을 활용한다.
• 초기 특징은 유클리드 공간에 존재하며, 이후 레이어들은 미분 가능하고 일대일 대응인 변환을 통해 허위 리만 다양체로 매핑되고 이곳에서 연산이 수행된다.
• 비리만 기하학적 환경으로 일반화된 지오데식 기반 메시지 전달을 통한 이웃 집합화를 통합하여 GCN 연산을 비리만 기하로 일반화한다.
• 그래프 구조와 무관하게 기하학적 표현력을 검증하기 위해, 허위 쌍곡면 기하로 일반화된 MLP의 변종인 Q-NN를 도입한다.

실험 결과

연구 질문

• RQ1 부정확한 계량을 가진 허위 리만 기하학이 복잡한 그래프 구조를 모델링하는 데 있어 리만 또는 유클리드 기하학보다 더 탄력적인 인덕티브 바이어스를 제공할 수 있는가?
• RQ2 지오데식 연결성이 문제되는 상황에서도 신경망 연산을 어떻게 허위 리만 다양체로 확장할 수 있는가?
• RQ3 혼합 곡률을 가진 그래프에서 기반 허위 리만 다양체의 통합 프레임워크가 기존의 리만 및 유클리드 GCN보다 뛰어난 성능을 낼 수 있는가?
• RQ4 허위 쌍곡면 다양체의 시간 차원(t)은 계층적 대비 순환적 그래프 구조를 어떻게 반영하는가?
• RQ5 더 풍부한 기하학적 인덕티브 바이어스를 제공하면서도 계산 효율성을 유지할 수 있는가?

주요 결과

• Q-GCN은 혼합 구조를 가진 그래프, 즉 계층적이고 순환적인 요소를 모두 포함하는 그래프에서 노드 분류 및 링크 예측 작업에서 리만 GCN과 유클리드 GCN를 모두 능가한다.
• 강력한 계층적 특성을 보이는 PubMed 데이터셋에서는 작은 시간 차원(t)에서 성능이 최고로 나타나, 모델이 나무 구조 유사한 구조를 효과적으로 포착할 수 있음을 확인한다.
• 더 많은 순환 구조를 포함하고 있는 Cora 데이터셋에서는 더 큰 시간 차원에서 성능 향상이 관찰되어, 양성 곡률 성분과의 더 나은 일치를 시사한다.
• 그래프 구조와 무관하게 기하학적 표현력을 검증하기 위해 도입된 Q-NN 변종은 MLP 및 HNN보다 노드 분류에서 더 뛰어난 성능을 보이며, 기하학적 표현력의 우수성을 입증한다.
• Q-GCN은 Prod-GCN(H⁵ × S⁵)보다 높은 계산 효율성을 보이며, 주로 다이나믹 매니폴드(S × R) 내에서 더 빠른 유클리드 성분(R) 덕분이다.
• UMAP를 통한 시각화 결과, PubMed의 경우 Poincaré 디스크 투영에서 Q-GCN 임bedding은 더 명확한 계층적 구조를 보이며 중심에 더 많은 허브 노드가 집중되어 있어, 나무 유사 그래프를 효과적으로 모델링할 수 있음을 확인한다.