[논문 리뷰] Constant Curvature Graph Convolutional Networks

Gregor Bachmann, Gary Bécigneul외 1명|arXiv (Cornell University)|2019. 11. 12.

Topological and Geometric Data Analysis참고 문헌 56인용 수 35

한 줄 요약

논문은 그래프 컨볼루션 네트워크를 상수 곡률 공간(양의, 음의, 그리고 0)에서 작동하도록 일반화하여, 통합된 kappa-stereographic gyroframework를 통해 곡률 간의 미분 가능한 보간을 가능하게 하고, 비유클리드 그래프 데이터에 대한 노드 표현을 향상시킨다.

ABSTRACT

Interest has been rising lately towards methods representing data in non-Euclidean spaces, e.g. hyperbolic or spherical, that provide specific inductive biases useful for certain real-world data properties, e.g. scale-free, hierarchical or cyclical. However, the popular graph neural networks are currently limited in modeling data only via Euclidean geometry and associated vector space operations. Here, we bridge this gap by proposing mathematically grounded generalizations of graph convolutional networks (GCN) to (products of) constant curvature spaces. We do this by i) introducing a unified formalism that can interpolate smoothly between all geometries of constant curvature, ii) leveraging gyro-barycentric coordinates that generalize the classic Euclidean concept of the center of mass. Our class of models smoothly recover their Euclidean counterparts when the curvature goes to zero from either side. Empirically, we outperform Euclidean GCNs in the tasks of node classification and distortion minimization for symbolic data exhibiting non-Euclidean behavior, according to their discrete curvature.

연구 동기 및 목표

• 비유클리드 기하학(하이퍼볼릭, 구면)이 특정 그래프 구조 데이터를 유클리드 공간보다 더 잘 모델할 수 있는 이유를 제시한다.
• 상수 곡률 기하학 사이를 보간하는 일관된 gyrovector-space 프레임워크를 도입한다.
• kappa-stereographic 모델에서 작동하는 κ-GCN을 개발하고 곡률이 0에 접근할 때 Euclidean GCN을 복원한다.
• 그래프 신경망 학습과 함께 곡률 및 기하학의 미분 가능한 학습을 가능하게 한다.

제안 방법

• 양의 곡률과 음의 곡률을 하나의 프레임워크에서 통일하기 위해 kappa-stereographic 모델을 정의한다.
• 거리, exp/ log 맵, 및 geodesics에 대한 닫힌 형식의 표현을 포함하도록 gyrovector 공간 연산(kappa-덧셈, kappa-스케일링)을 확장한다.
• 임베딩에 대한 곡률 인식 선형 변환으로서 κ-오른쪽 행렬 곱셈을 도입한다.
• 메시지 패싱을 위한 가중된 gyromidpoint 기반 집계로서 κ-왼쪽 행렬 곱셈을 제안한다.
• 분류 작업을 위해 κ-로그잇 층과 곡률 인식 소프트맥스를 채택한다.
• 주요 특성: 오른쪽 확률적 행렬과의 왼쪽 곱셈의 고유성, 및 미분 가능한 곡률 보간을 증명한다.

실험 결과

연구 질문

• RQ1 상수 곡률 공간이 GCN을 위해 유클리드, 하이퍼볼릭, 구면 기하학 사이의 미분 가능한 보간을 제공할 수 있는가?
• RQ2 κ-GCN이 비유클리드 그래프에서 노드 분류 및 왜곡 최소화에 대해 유클리드 GCN 및 기존의 하이퍼볼릭 방법에 비해 향상되는가?
• RQ3 곡률을 학습하는 것이 비유클리드 구조를 가진 그래프의 표현을 개선하는가?
• RQ4 상수 곡률 구성요소의 곱 공간(예: H^8 × S^8)이 단일 기하학 임베딩보다 추가 이점을 제공하는가?

주요 결과

• κ-GCN은 노드 분류 데이터세트와 합성 및 실제 그래프의 왜곡 최소화 성능에서 Euclidean GCN을 능가한다.
• 모델은 극한에서 κ → 0일 때 Euclidean GCN을 복원하여 기하학 간 연속 보간을 보장한다.
• Product-geometry 임베딩(예: 하이퍼볼릭 또는 구면 구성요소)은 특정 데이터세트에서 왜곡을 더 줄이고 성능을 향상시킬 수 있다.
• 연구된 데이터세트(Citeseer, Cora, Pubmed, Airport)는 κ-GCN이 Euclidean 및 이전의 하이퍼볼릭 GNN과 비교해 경쟁력 있는 또는 우수한 정확성을 달성함을 보여준다.
• κ-stereographic 프레임워크는 거리, exp/log 맵, 그리고 geodesics에 대한 닫힌 형식의 연산을 제공하여 곡률 간의 효율적인 미분 가능한 학습을 가능하게 한다.