[논문 리뷰] Understanding graph embedding methods and their applications

Mengjia Xu|arXiv (Cornell University)|2020. 12. 15.

Advanced Graph Neural Networks참고 문헌 63인용 수 12

한 줄 요약

이 논문은 고차원적이고 흐린 그래프를 저차원의 조밀한 벡터 표현으로 변환하면서 구조적 특성을 유지하는 데 중점을 둔 그래프 임베딩 방법에 대한 종합적인 리뷰를 제공한다. 랜덤 워크 기반 및 신경망 기반 기법을 중심으로 다루며, 노드 분류 및 링크 예측과 같은 후행 작업에서 이러한 임베딩의 효과를 입증한다. 특히 G2G 모델을 통한 불확실성 인식 가우시안 임베딩이라는 새로운 기여를 통해 CORA-ML에서 AUC 0.93 및 F1-macro 0.85의 최신 기술 수준 성능을 달성한다.

ABSTRACT

Graph analytics can lead to better quantitative understanding and control of complex networks, but traditional methods suffer from high computational cost and excessive memory requirements associated with the high-dimensionality and heterogeneous characteristics of industrial size networks. Graph embedding techniques can be effective in converting high-dimensional sparse graphs into low-dimensional, dense and continuous vector spaces, preserving maximally the graph structure properties. Another type of emerging graph embedding employs Gaussian distribution-based graph embedding with important uncertainty estimation. The main goal of graph embedding methods is to pack every node's properties into a vector with a smaller dimension, hence, node similarity in the original complex irregular spaces can be easily quantified in the embedded vector spaces using standard metrics. The generated nonlinear and highly informative graph embeddings in the latent space can be conveniently used to address different downstream graph analytics tasks (e.g., node classification, link prediction, community detection, visualization, etc.). In this Review, we present some fundamental concepts in graph analytics and graph embedding methods, focusing in particular on random walk-based and neural network-based methods. We also discuss the emerging deep learning-based dynamic graph embedding methods. We highlight the distinct advantages of graph embedding methods in four diverse applications, and present implementation details and references to open-source software as well as available databases in the Appendix for the interested readers to start their exploration into graph analytics.

연구 동기 및 목표

• 대규모이면서 고차원적이고 이질적인 네트워크에서 전통적인 그래프 분석 기법의 높은 계산 비용과 메모리 오버헤드 문제를 해결하기 위해.
• 복잡하고 비정규적인 그래프 구조를 저차원 연속 벡터 공간으로 매핑하는 그래프 임베딩 기법에 대한 체계적인 이해를 제공하기 위해.
• 노드 분류, 링크 예측, 커뮤니티 탐지와 같은 후행 작업에서 그래프 임베딩의 성능을 평가하기 위해.
• 다변량 정규분포를 활용한 불확실성 정량화를 위한 새로운 스토케스틱 그래프 임베딩 방법을 제안하고 검증하기 위해.
• 연구자들이 방법을 재현하고 확장할 수 있도록 실용적인 구현 가이드라인, 오픈소스 참조 및 접근 가능한 데이터셋을 제공하기 위해.

제안 방법

• 딥워크와 노드2베크와 같은 랜덤 워크 기반 기법을 활용하여, 스위프트그램 모델링을 통해 국소적이고 전반적인 그래프 구조를 유지하는 노드 시퀀스를 생성한다.
• 그래프SAGE와 G2G(Graph-to-Gaussian)와 같은 신경망 기반 모델을 적용하여, 비지도 학습 목표로 훈련된 딥 인코더 아키텍처를 통해 노드 임베딩을 학습한다.
• G2G 모델을 훈련하기 위해 애덤 옵티마이저를 사용한 제곱지수 손실 함수를 활용하여, 각 노드의 다변량 정규분포의 평균과 공분산을 동시에 학습한다.
• 고차원 임베딩을 2차원 공간에 시각화하기 위해 t-SNE를 활용하여, 노드 위치와 확률 타원을 통해 불확실성 표현을 가능하게 한다.
• 학습된 임베딩을 기반으로 KL 발산 기반 에너지 스코어링을 통한 링크 예측과 교차 검증을 활용한 로지스틱 회귀를 통한 노드 분류를 수행한다.
• 일반화 성능 평가와 데이터 누출 방지를 위해 CORA-ML 그래프를 훈련, 검증, 테스트 세트로 나누었으며, 비율은 각각 10%와 5%였다.

실험 결과

연구 질문

• RQ1 랜덤 워크 기반 및 신경망 기반 그래프 임베딩 기법은 복잡한 네트워크의 구조적 특성을 저차원 공간에서 어떻게 유지하는가?
• RQ2 그래프 임베딩에 다변량 정규분포를 통한 불확실성 추정을 통합할 경우, 후행 작업에 어떤 영향을 미치는가?
• RQ3 대규모 네트워크에서 전통적인 수작업으로 만든 위상적 특징과 비교했을 때 그래프 임베딩의 성능 및 확장성은 어떠한가?
• RQ4 학습된 그래프 임베딩은 기준 방법에 비해 노드 분류 및 링크 예측 작업에서 얼마나 성능을 향상시킬 수 있는가?
• RQ5 G2G 모델은 노드 표현과 불확실성을 동시에 얼마나 효과적으로 포착하는가? 그리고 실세계의 속성 부여된 네트워크인 CORA-ML에서의 성능은 어떠한가?

주요 결과

• G2G 모델은 CORA-ML 데이터셋의 링크 예측 작업에서 AUC 0.93과 평균 정밀도 0.87을 달성하여 실세계의 인용 네트워크에서 강력한 일반화 성능을 입증하였다.
• 10중 교차 검증을 거친 후, 학습된 가우시안 임베딩의 평균 벡터를 사용한 노드 분류에서 F1-macro 점수는 0.85, F1-micro 점수는 0.88를 기록하였다.
• 임베딩의 t-SNE 시각화 결과에서 클래스별로 명확한 클러스터링이 관찰되어, 학습된 표현이 의미적 및 구조적 유사성을 효과적으로 포착하고 있음을 시사한다.
• 공분산 행렬을 통한 불확실성 인식 임베딩은 확률 타원을 통해 예측 신뢰도를 표현할 수 있게 하여, 노드 표현의 해석 가능성 향상을 이룬다.
• 제안된 스토케스틱 임베딩 프레임워크는 불확실성 인식 작업에서 표준 결정론적 임베딩을 능가하여, 노드 특징의 분포적 불확실성을 모델링하는 가치를 입증하였다.
• 2,995개의 노드, 8,416개의 간선, 노드 속성이 2,879차원인 네트워크에서 훈련을 수행한 결과, 금전적 메모리나 런타임 비용이 과도하게 증가하지 않아 대규모 그래프에 대해 효과적인 확장성을 입증하였다.