[논문 리뷰] GraphZoom: A multi-level spectral approach for accurate and scalable graph embedding

Chenhui Deng, Zhiqiang Zhao외 3명|arXiv (Cornell University)|2019. 10. 06.

Advanced Graph Neural Networks참고 문헌 29인용 수 55

한 줄 요약

GraphZoom은 노드 속성과 위상 정보를 융합하고, 스펙트럴 방식으로 그래프를 거칠게 축소(coarsen)한 뒤, 가장 거친 수준에서 표준 비지도 임베딩을 적용하고, 그래프 필터링으로 임베딩을 정제하여 정확도와 확장성을 향상시키는 네 단계의 다계층 프레임워크를 도입합니다.

ABSTRACT

Graph embedding techniques have been increasingly deployed in a multitude of different applications that involve learning on non-Euclidean data. However, existing graph embedding models either fail to incorporate node attribute information during training or suffer from node attribute noise, which compromises the accuracy. Moreover, very few of them scale to large graphs due to their high computational complexity and memory usage. In this paper we propose GraphZoom, a multi-level framework for improving both accuracy and scalability of unsupervised graph embedding algorithms. GraphZoom first performs graph fusion to generate a new graph that effectively encodes the topology of the original graph and the node attribute information. This fused graph is then repeatedly coarsened into much smaller graphs by merging nodes with high spectral similarities. GraphZoom allows any existing embedding methods to be applied to the coarsened graph, before it progressively refine the embeddings obtained at the coarsest level to increasingly finer graphs. We have evaluated our approach on a number of popular graph datasets for both transductive and inductive tasks. Our experiments show that GraphZoom can substantially increase the classification accuracy and significantly accelerate the entire graph embedding process by up to 40.8x, when compared to the state-of-the-art unsupervised embedding methods.

연구 동기 및 목표

• 그래프 임베딩에서 임베딩 정확도와 확장성 사이의 트레이드오프를 동기화하고 해결한다.
• 거칠림(coarsening) 과정에서 스펙트럴 특성을 보존하는 통합 다계층 프레임워크를 제시한다.
• 거칠림 프레임워크 내에서 어떤 비지도 임베딩 방법이든 플러그 앤 플레이로 사용할 수 있도록 한다.
• 그래프 필터링 기반의 정제 단계로 임베딩 품질을 개선한다.
• 정확도를 유지하거나 향상시키면서 대규모 그래프에 대한 확장성을 입증한다.

제안 방법

• Phase 1 그래프 융합은 토폴로지와 노드 특징에서 도출된 kNN 속성 그래프를 코사인 유사도로 결합하여 융합 가중치 beta로 제어된 융합 인접 행렬을 생성한다.
• Phase 2 스펙트럴 거칠림은 로컬 스펙트럴 임베딩과 스펙트럴 노드 친화성 측정을 사용하여 스펙트럴하게 유사한 노드를 병합하고, 처음 몇 개의 라플라시안 고유 벡터를 보존하는 계층적 거칠림 그래프를 구성한다. 거칠림은 선형 시간(aggregation) 스킴을 사용하고 密度 제어를 위한 선택적 GRASS 스펙트럴 희소화 기능을 포함한다.
• Phase 3 그래프 임베딩은 가장 거친 그래프에 기존의 비지도 임베딩 방법을 적용하여 초기 임베딩을 얻는다.
• Phase 4 임베딩 정제는 조정-투영 연산자를 통해 거친 임베딩을 미세한 그래프에 매핑하고, 저주파 그래프 필터(I-L)^k로 임베딩을 매끄럽게 다듬은 후 원래 그래프에 대한 임베딩을 복원하기 위해 반복한다.

실험 결과

연구 질문

• RQ1 다계층 스펙트럴 접근이 비지도 그래프 임베딩의 정확도와 확장성을 함께 향상시킬 수 있는가?
• RQ2 융합 그래프에서 노드 속성과 토폴로지를 융합하는 것이 토폴로지만 사용하는 방법보다 임베딩 품질을 향상시키는가?
• RQ3 스펙트럴 거칠림이 후속 임베딩을 위한 그래프의 본질적 구조를 보존하는 데 얼마나 효과적인가?
• RQ4 비훈련(non-training) 그래프 필터 기반의 정제 단계가 추가적인 모델 학습 없이 최종 임베딩을 의미 있게 개선할 수 있는가?
• RQ5 GraphZoom은 기저 임베딩 커널에 독립적이고 매우 큰 그래프에 확장 가능한가?

주요 결과

• GraphZoom은 전이 학습(transductive) 및 유도적(inductive) 작업에서 기준선 비지도 방법보다 더 높은 임베딩 정확도를 달성하며, 상대적 향상은 최대 19.4%에 이른다.
• GraphZoom은 표준 벤치마크에서 최신 방법과 비교하여 임베딩 과정을 최대 40.8배 가속할 수 있다.
• 대규모 Friendster 데이터에서 GraphZoom은 Micro-F1을 최대 49.9% 더 높이고 기준 대비 최대 119.8배의 속도 향상을 보인다.
• 정제 단계는 비용이 큰 역산(inversion)을 피하면서도 높은 주파수 노이즈를 줄이고, 효율적인 희소 행렬 곱셈과 그래프 필터링으로 작동한다.
• GraphZoom은 구조가 매우 조합 가능하고 기본 임베딩 커널에 독립적이며, DeepWalk, node2vec, DGI, GraphSAGE와 함께 사용할 때 정확도와 속도를 모두 개선한다.
• 아블레이션 분석은 정제 커널(그래프 필터링)이 결과를 크게 개선하며, 특히 더 큰 거칠림에서 효과가 크다는 것을 보여준다.