[논문 리뷰] Neural Embeddings of Graphs in Hyperbolic Space

Benjamin Paul Chamberlain, James R. Clough외 1명|arXiv (Cornell University)|2017. 05. 29.

Advanced Graph Neural Networks참고 문헌 16인용 수 59

한 줄 요약

이 논문은 하이퍼볼릭 Skipgram 모델을 통해 하이퍼볼릭 공간에서 신경 그래프 임베딩을 도입하고, Euclidean 임베딩에 비해 여러 실제 네트워크에서 정점 속성 할당이 개선되었음을 보여준다.

ABSTRACT

Neural embeddings have been used with great success in Natural Language Processing (NLP). They provide compact representations that encapsulate word similarity and attain state-of-the-art performance in a range of linguistic tasks. The success of neural embeddings has prompted significant amounts of research into applications in domains other than language. One such domain is graph-structured data, where embeddings of vertices can be learned that encapsulate vertex similarity and improve performance on tasks including edge prediction and vertex labelling. For both NLP and graph based tasks, embeddings have been learned in high-dimensional Euclidean spaces. However, recent work has shown that the appropriate isometric space for embedding complex networks is not the flat Euclidean space, but negatively curved, hyperbolic space. We present a new concept that exploits these recent insights and propose learning neural embeddings of graphs in hyperbolic space. We provide experimental evidence that embedding graphs in their natural geometry significantly improves performance on downstream tasks for several real-world public datasets.

연구 동기 및 목표

• 그래프를 자연스러운 비유클리드 기하에서 임베딩하는 것을 고무한다.
• Skipgram 임베딩 프레임워크의 하이퍼볼릭 공간 아날로그를 개발한다.
• 실세계 네트워크 전반에 걸친 정점 속성 할당 작업에서 향상된 성능을 보여준다.

제안 방법

• Skipgram에서 유클리드 벡터 공간을 두 개의 Poincaré disks로 대체하여 그래프를 하이퍼볼릭 공간에 임베딩한다.
• 입력 정점으로부터 컨텍스트 정점을 예측하기 위해 하이퍼볼릭 내적과 softmax(음수 샘플링 포함)를 사용한다.
• 자연스러운 하이퍼볼릭 좌표에서 역전파 업데이트를 도출하고 학습 후 Poincaré disk로 다시 매핑한다.
• DeepWalk와 같이 입력-컨텍스트 쌍을 만들기 위해 그래프에 대한 랜덤 워크를 통해 임베딩을 학습한다.
• 여러 데이터세트에서 매크로 F1을 사용하여 정점 속성 할당 작업에 대해 임베딩을 평가한다.

실험 결과

연구 질문

• RQ1 하이퍼볼릭 공간에 그래프를 임베딩하는 것이 유클리드 임베딩에 비해 정점 속성 성능을 향상시키는가?
• RQ2 하이퍼볼릭 기하에서 Skipgram 스타일의 학습을 어떻게 공식화하고 최적화할 수 있는가?
• RQ3 하이퍼볼릭 임베딩이 실제 네트워크에서 커뮤니티 구조를 보여주거나 분류를 향상시키는가?

주요 결과

• 하이퍼볼릭 임베딩은 정점 속성에서 다수의 데이터셋에서 Euclidean DeepWalk 임베딩을 능가한다.
• 2D 하이퍼볼릭 공간은 시각화에서 명확한 커뮤니티 구조를 제공하며(예: karate 네트워크), 이는 Euclidean 임베딩이 놓치는 점이다.
• 하이퍼볼릭 임베딩은 데이터셋 간 라벨링 비율에 따라 더 높은 macro F1 점수를 달성한다.
• 자연스러운 계층적 및 멱 법칙(power-law) 구조를 가진 네트워크의 임베딩 이점이 실험에서 관찰된다.