[논문 리뷰] Hyperbolic Graph Neural Networks

Qi Liu, Maximilian Nickel외 1명|arXiv (Cornell University)|2019. 10. 28.

Image Processing and 3D Reconstruction인용 수 77

한 줄 요약

본 연구는 그래프 신경망을 리만 다양체로 일반화하고 하이퍼볼릭 GNN(Poincaré 및 Lorentz 모델)이 합성, 분자, 블록체인 그래프 작업에서 유클리드 GNN보다 우수하다고 보여준다.

ABSTRACT

Learning from graph-structured data is an important task in machine learning and artificial intelligence, for which Graph Neural Networks (GNNs) have shown great promise. Motivated by recent advances in geometric representation learning, we propose a novel GNN architecture for learning representations on Riemannian manifolds with differentiable exponential and logarithmic maps. We develop a scalable algorithm for modeling the structural properties of graphs, comparing Euclidean and hyperbolic geometry. In our experiments, we show that hyperbolic GNNs can lead to substantial improvements on various benchmark datasets.

연구 동기 및 목표

• 차별적으로 연산 가능한 지수 및 로그 맵을 갖는 임의의 리만 다양체에서 그래프 신경망을 일반화한다.
• 구조화된 그래프 데이터에 대해 유클리드 GNN과 하이퍼볼릭 변형을 비교한다.
• 하이퍼볼릭 모델이 전체 그래프 분류 및 분자 특성 예측에서 성능이 향상됨을 보여준다.
• 확장 가능하고 다양체에 관계없는 프레임워크를 제공하고 재현을 위한 코드/데이터를 공개한다.

제안 방법

• 메시지 전달을 다양체에 확장하여 이웃 특징을 접선 공간으로 매핑하기 위해 로그 맵을 사용하고, 선형 변환을 적용한 뒤 EXP 맵으로 다시 매핑한다.
• 임베딩으로 하이퍼볼릭 다양체로서 유클리드 공간, 포이네르 구(ball), 그리고 로렌츠 모델을 탐구한다.
• 접점 기반 회귀/분류 체계를 다양체에서 사용하여 그래프 수준의 출력을 생성한다.
• 다중 관계 데이터(예: ZINC)를 메시지 전달에 관계별 가중 행렬을 도입하여 처리한다.
• 다양체 보존 비선형성 보장 및 활성화 선택과 최적화 방법에 대해 논의한다.

실험 결과

연구 질문

• RQ1 하이퍼볼릭 기하학이 유클리드 기하학보다 그래프 구조를 포착하는 데 더 강한 내생적 편향을 제공할 수 있는가?
• RQ2 하이퍼볼릭 그래프 신경망이 전체 그래프 분류 및 분자 특성 예측에서 유클리드 GNN보다 개선되는가?
• RQ3 포이네르 구(ball)와 로렌츠 모델 중 어떤 하이퍼볼릭 표현이 더 나은 성능과 안정성을 보이는가?
• RQ4 임베딩이 유클리드 공간이 아니라 다양체 위에 존재할 때 출력은 어떻게 회귀/분류될 수 있는가?

주요 결과

• 하이퍼볼릭 GNN은 합성 구조 분류 작업에서 유클리드 GNN보다 우수한 성능을 보이며, 차원이 낮을수록 더 큰 이득을 얻고 로렌츠가 포이네르를 자주 능가한다.
• 분자 속성 예측(ZINC 데이터셋)에서 로렌츠 하이퍼볼릭 모델은 다수 속성에 대해 유클리드 및 포이네르 모델보다 평균 절대 오차가 더 낮다.
• 블록체인 거래 그래프에서 하이퍼볼릭 모델(로렌츠와 포이네르)이 유클리드 기반보다 가격 변동 예측에서 더 높은 정확도를 보인다.
• 하이퍼볼릭 표현은 그래프의 계층적 구조를 효과적으로 포착하여 다양한 도메인에서 효율적이고 정확한 모델링을 가능하게 한다.
• 이 접근법은 유클리드 모델과 계산적으로 경쟁력이 있으며, 로렌츠 모델에서 수치적 안정성이 더 뛰어나다는 이점을 보인다.