[논문 리뷰] Heterogeneous manifolds for curvature-aware graph embedding

Francesco Di Giovanni, Giulia Luise외 1명|arXiv (Cornell University)|2022. 02. 02.

Advanced Graph Neural Networks인용 수 12

한 줄 요약

이 논문은 이질적인 만델라에서 쌍별 거리와 노드 기반 곡률을 동시에 모델링하는 새로운 프레임워크를 제안한다. 이는 동질적 만델라(예: 하이퍼볼릭 공간)와 구형 대칭 원형 만델라의 곱공간을 사용한다. 단일 추가 도함수를 활용한 곡률 인식 최적화를 통해 리만 스토하스틱 그래디언트 디센트를 확장함으로써, 고차 구조를 유지하고 스케일 프리 및 커뮤니티 풍부한 특성을 가진 현실적인 이질적 무작위 그래프 생성이 가능해진다.

ABSTRACT

Graph embeddings, wherein the nodes of the graph are represented by points in a continuous space, are used in a broad range of Graph ML applications. The quality of such embeddings crucially depends on whether the geometry of the space matches that of the graph. Euclidean spaces are often a poor choice for many types of real-world graphs, where hierarchical structure and a power-law degree distribution are linked to negative curvature. In this regard, it has recently been shown that hyperbolic spaces and more general manifolds, such as products of constant-curvature spaces and matrix manifolds, are advantageous to approximately match nodes pairwise distances. However, all these classes of manifolds are homogeneous, implying that the curvature distribution is the same at each point, making them unsuited to match the local curvature (and related structural properties) of the graph. In this paper, we study graph embeddings in a broader class of heterogeneous rotationally-symmetric manifolds. By adding a single extra radial dimension to any given existing homogeneous model, we can both account for heterogeneous curvature distributions on graphs and pairwise distances. We evaluate our approach on reconstruction tasks on synthetic and real datasets and show its potential in better preservation of high-order structures and heterogeneous random graphs generation.

연구 동기 및 목표

• 실제 세계의 그래프에서 이질적인 곡률 분포를 모델링하는 데에 동질적 만델라의 한계를 해결하기 위해.
• 그래프 임베딩에서 쌍별 거리와 국소 곡률 정보를 동시에 유지하기 위해.
• 기존의 동질적 모델을 일반화하면서도 곡률 인식 최적화를 가능하게 하는 계산적으로 타당한 프레임워크를 개발하기 위해.
• 클러스터링과 커뮤니티 구조와 같은 고차 구조적 성질의 개선된 유지력을 입증하기 위해.
• 스케일 프리 및 밀집된 커뮤니티 특성을 가진 현실적인 이질적 무작위 그래프 생성을 가능하게 하기 위해.

제안 방법

• 이 방법은 동질적 공간(예: 하이퍼볼릭 공간)과 구형 대칭 원형 만델라의 곱공간으로 이질적 만델라를 구성함으로써 공간적으로 변화하는 곡률을 가능하게 한다.
• 그래프에서의 이산적 노드 기반 곡률을 만델라 상의 점별 스칼라 곡률과 일치시키는 곡률 인식 손실 함수를 도입한다.
• 이질적 곡률 구조를 처리하기 위해 단일 추가 도함수를 계산하는 것으로 리만 스트로하스틱 그래디언트 디센트를 확장한다.
• 표준 리만 최적화 도구를 사용하여 거리 유지와 곡률 일치를 동시에 최적화할 수 있도록 프레임워크를 구성한다.
• 합성 및 실세계 그래프에서의 평가를 통해 곡률 모델링과 임베딩 품질에 대한 분석을 수행한다.
• 무작위 그래프 생성은 이질적 만델라에서 샘플링하고, 곡률 및 거리 기반 연결 규칙을 적용하여 수행한다.

실험 결과

연구 질문

• RQ1 이질적 만델라 프레임워크는 동질적 모델보다 그래프 임베딩에서 쌍별 거리와 국소 곡률을 동시에 더 효과적으로 유지할 수 있는가?
• RQ2 곡률 인식 최적화는 클러스터링과 커뮤니티 구조와 같은 고차 구조적 성질의 유지에 어떻게 기여하는가?
• RQ3 제안된 방법은 스케일 프리 및 이질적인 커뮤니티 구조를 가진 현실적인 무작위 그래프를 어느 정도의 정도로 생성할 수 있는가?
• RQ4 만델라에 원형 차원을 포함함으로써 곡률 모델링을 향상시키면서도 계산적 타당성을 유지할 수 있는가?
• RQ5 평균 거리 왜곡과 클러스터링 유지 측면에서 곡률 인식 임베딩은 표준 거리 기반 최적화보다 어떻게 다를까?

주요 결과

• 제안된 방법은 합성 및 실세계 그래프에서 모두 동질적 기준보다 유의미하게 낮은 평균 거리 왜곡을 달성한다.
• 입력 그래프의 이산적 곡률 분포와 임bed된 만델라의 점별 곡률 간 강한 상관관계를 통해, 모델이 입력 그래프의 곡률 분포를 성공적으로 일치시켰음을 입증한다.
• 무작위 그래프 생성에서 이질적 모델은 큰 클리크를 형성하더라도 스케일 프리 도수 분포를 낮은 도수 분산과 클러스터링을 유지한다.
• 다양한 거리 임계값에서 클러스터링 계수의 분산은 약 0.28–0.30 범위에서 안정되어 있어, 동질적 모델과 달리 이질적 밀도 분포를 반영한다. 반면 동질적 모델은 분산이 0.15 이하로 떨어졌다.
• 7.0 거리 임계값에서 이질적 모델은 최대 클리크 크기 47.2를 달성하면서 평균 클러스터링(0.47)과 도수 분산(19.4)을 유지한다. 반면 동질적 모델는 클리크 크기 49.96를 형성했지만, 클러스터링 분산은 급격히 감소하고 도수 분산은 증가했다.
• 위치에 따라 변화하는 곡률을 임베딩 공간에서 활용함으로써, 밀집된 커뮤니티와 스케일 프리 성질을 가진 현실적인 그래프 생성이 가능해졌다.