[논문 리뷰] Enhancing Hyperbolic Graph Embeddings via Contrastive Learning

Jiahong Liu, Meng‐Lin Yang외 3명|arXiv (Cornell University)|2022. 01. 21.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 초등각 기반 그래프 신경망의 표현 품질을 향상시키기 위해 초등각 기하학과 대비 학습을 융합한 새로운 프레임워크인 초등각 그래프 대비 학습(HGCL)을 제안한다. 거리 인식 식별과 뷰 수준 일관성에 기반한 초등각 위치 일관성(HPC) 손실을 활용함으로써, 다양한 데이터셋에서 노드 분류 작업에서 최신 기술 수준의 성능을 달성하며, 기존 방법들보다 뚜렷한 성능 향상을 보인다.

ABSTRACT

Recently, hyperbolic space has risen as a promising alternative for semi-supervised graph representation learning. Many efforts have been made to design hyperbolic versions of neural network operations. However, the inspiring geometric properties of this unique geometry have not been fully explored yet. The potency of graph models powered by the hyperbolic space is still largely underestimated. Besides, the rich information carried by abundant unlabelled samples is also not well utilized. Inspired by the recently active and emerging self-supervised learning, in this study, we attempt to enhance the representation power of hyperbolic graph models by drawing upon the advantages of contrastive learning. More specifically, we put forward a novel Hyperbolic Graph Contrastive Learning (HGCL) framework which learns node representations through multiple hyperbolic spaces to implicitly capture the hierarchical structure shared between different views. Then, we design a hyperbolic position consistency (HPC) constraint based on hyperbolic distance and the homophily assumption to make contrastive learning fit into hyperbolic space. Experimental results on multiple real-world datasets demonstrate the superiority of the proposed HGCL as it consistently outperforms competing methods by considerable margins for the node classification task.

연구 동기 및 목표

• 그래프 표현 학습에서 초등각 기하학의 지수적 능력이 충분히 활용되지 않는 문제를 해결하기 위해.
• 초등각 공간에 대비 학습을 적용할 때 발생하는 도전 과제, 즉 노름 정규화와 구조적 내성 파괴 문제를 해결하기 위해.
• 대비 학습을 초등각 그래프 신경망과 융합하여 표현 품질을 향상시키기 위해.
• 계층적 구조를 유지하면서 기능 식별력을 향상시키는 초등각 호환 대비 손실을 개발하기 위해.

제안 방법

• 동일한 그래프 입력에 대해 두 개의 초등각 인코더를 사용하여 대비 뷰를 생성하는 초등각 그래프 대비 학습(HGCL) 프레임워크를 제안한다.
• 초등각 거리와 거리 인식 식별기를 사용하여 균일성과 내성의 균형을 맞추는 초등각 위치 일관성(HPC) 제약 조건을 도입한다.
• 초등각 거리를 사용하여 임베딩 간의 확률 점수를 계산하는 거리 인식 식별기를 도입하여, 내적 곱 또는 코사인 유사도를 대체한다.
• 포인카레 볼 모델에서 벡터 연산을 일관되게 처리하기 위해 모비우스 덧셈 및 기울임 연산자를 사용한다.
• 양성 쌍(동일한 노드의 서로 다른 뷰) 간의 상호정보량을 최대화하고, 이웃 관계 일관성으로써 내성을 강제하는 대비 손실 함수를 적용한다.
• 공유 가중치를 가진 이중 브랜치 인코더 아키텍처를 사용하여 뷰 간 일관된 표현을 생성하고, 자기지도 학습 전훈을 가능하게 한다.

실험 결과

연구 질문

• RQ1 대비 학습이 초등각 그래프 표현 학습에 효과적으로 적용될 수 있는가? 이를 통해 노드 분류 성능이 향상되는가?
• RQ2 초등각 공간의 고유한 기하적 성질을 어떻게 활용하여 계층적 구조를 존중하는 대비 손실을 설계할 수 있는가?
• RQ3 초등각 공간에서 거리 인식 식별기가 기존의 내적 곱 또는 코사인 유사도보다 성능이 뛰어나게 되는가?
• RQ4 제안된 HPC 손실이 초등각 공간에서 구조적 관계를 얼마나 잘 유지하면서 기능 식별력을 향상시키는가?

주요 결과

• HGCL은 모든 다섯 개인 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 질병 데이터셋에서 두 번째로 우수한 성능을 보인 HGAT 대비 3.12%p의 절대 정확도 향상을 보였다.
• Cora 데이터셋에서 HGCL은 82.37%의 정확도를 기록하여 HGAT 대비 4.05%p 향상되었으며, 이는 고초등각성 그래프에서 강력한 성능을 보여준다.
• 모든 데이터셋에서 HGCN, HGAT, HNN 등 모든 기준 모델보다 뛰어난 성능을 보였으며, PubMed에서는 최고의 F1 점수를 기록했고, Citeseer와 Airport에서는 최고의 정확도를 확보했다.
• 제거 실험 결과, HPC 손실과 거리 인식 식별기 모두 성능 향상에 필수적임을 확인하였으며, 둘 중 하나를 제거할 경우 정확도가 뚜렷이 감소하였다.
• 실제로 계층적 구조를 잘 유지하면서도 식별력을 향상시키는 데 성공하였으며, 이를 입증하기 위해 양성 쌍 간의 상호정보량과 일관성이 향상된 결과를 확보하였다.