[논문 리뷰] MILE: A Multi-Level Framework for Scalable Graph Embedding

Jiongqian Liang, Saket Gurukar외 1명|arXiv (Cornell University)|2018. 02. 26.

Advanced Graph Neural Networks참고 문헌 38인용 수 27

한 줄 요약

MILE는 그래프를 다단계로 굴곡시켜 그래프 임베딩의 속도를 높이는 프레임워크를 제안한다. 이는 가장 굴곡진 수준에서 기본 임베딩을 적용하고, 공유된 GCN 모델을 통해 임베딩을 정밀하게 보정한다. 계산 복잡도가 감소하고 파라미터 공유가 효율적으로 이루어지기 때문에, 특히 초모수 튜닝을 병행할 경우 품질 손실을 최소화하면서도 뚜렷한 속도 향상을 달성한다.

ABSTRACT

Recently there has been a surge of interest in designing graph embedding methods. Few, if any, can scale to a large-sized graph with millions of nodes due to both computational complexity and memory requirements. In this paper, we relax this limitation by introducing the MultI-Level Embedding (MILE) framework -- a generic methodology allowing contemporary graph embedding methods to scale to large graphs. MILE repeatedly coarsens the graph into smaller ones using a hybrid matching technique to maintain the backbone structure of the graph. It then applies existing embedding methods on the coarsest graph and refines the embeddings to the original graph through a graph convolution neural network that it learns. The proposed MILE framework is agnostic to the underlying graph embedding techniques and can be applied to many existing graph embedding methods without modifying them. We employ our framework on several popular graph embedding techniques and conduct embedding for real-world graphs. Experimental results on five large-scale datasets demonstrate that MILE significantly boosts the speed (order of magnitude) of graph embedding while generating embeddings of better quality, for the task of node classification. MILE can comfortably scale to a graph with 9 million nodes and 40 million edges, on which existing methods run out of memory or take too long to compute on a modern workstation. Our code and data are publicly available with detailed instructions for adding new base embedding methods: \url{https://github.com/jiongqian/MILE}.

연구 동기 및 목표

• 대규모 그래프 임베딩 방법의 높은 계산 비용을 해결하기 위해.
• 기존 그래프 임베딩 알고리즘의 대규모 그래프에서의 효율적 학습 및 추론을 가능하게 하기 위해.
• 계층적 굴곡과 보정을 통해 시간 복잡도를 낮추면서도 임베딩 품질을 유지하기 위해.
• DeepWalk, Node2Vec, LINE, NetMF와 같은 다양한 기본 임베딩 방법을 지원하기 위해.
• 대칭화 및 라플라시안 기반 방법을 통해 방향성 있는 그래프에 대한 그래프 임베딩을 확장하기 위해.

제안 방법

• 구조적으로 동일한 매칭(Structurally Equivalent Matching, SEM)을 사용해 입력 그래프를 계층적으로 굴곡시켜 각 수준에서 정점 수와 간선 수를 감소시킨다.
• 가장 굴곡진 그래프에 선택된 기본 임베딩 방법을 적용하여 크기가 작아진 덕분에 더 빠른 계산을 유도한다.
• 모든 수준에서 파라미터 공유를 통해 효율성을 유지하는 공유된 GCN 모델을 사용해 수준 간 임베딩을 보정한다.
• GCN 메시지 전파 메커니즘을 통해 효율적인 임베딩 전파를 위해 희소 행렬 곱셈을 사용한다: $ H^{(k)}(X,A) = \sigma\left(\tilde{D}^{-\frac{1}{2}}\tilde{A}\tilde{D}^{-\frac{1}{2}}H^{(k-1)}(X,A)\Theta^{(k)}\right) $.
• 모든 수준에서 필터 파라미터 $ \Theta^{(k)} $를 공유하여 각 수준의 학습 오버헤드를 방지하고, 효율성과 성능의 균형을 맞춘다.
• 기존 기법을 활용해 방향성 있는 그래프를 대칭화하여 MILE 프레임워크 내에서 대칭 임베딩 방법을 적용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 계층적 굴곡이 임베딩 품질을 유지하면서도 시간 복잡도를 크게 감소시킬 수 있는가?
• RQ2 굴곡 수준 간의 파라미터 공유가 최소한의 계산 비용으로 성능을 유지하는 데 얼마나 효과적인가?
• RQ3 특히 초모수 튜닝과 병행할 경우 MILE가 얼마나 빠른가?
• RQ4 MILE가 DeepWalk, Node2Vec, LINE, NetMF와 같은 다양한 기본 임베딩 방법에 얼마나 잘 일반화되는가?
• RQ5 대칭화 및 라플라시안 기반 굴곡을 통해 MILE가 방향성 있는 그래프로 효과적으로 확장될 수 있는가?

주요 결과

• MILE는 기본 임베딩 알고리즘의 시간 복잡도를 $ T(V,E) $ 에서 $ T\left(\frac{V}{\alpha^m}, \frac{E}{\beta^m}\right) + O(k \cdot E) $ 로 감소시키며, 여기서 $ \alpha, \beta \in [1.5, 2.0] $ 이다. 이는 뚜렷한 속도 향상을 가져온다.
• 보정 단계는 $ E $ 에 대해 선형 오버헤드만 추가하며, 일반적으로 수십 수준의 작은 상수 $ k $ 를 갖기 때문에 총 비용이 원래 알고리즘보다 크게 낮아진다.
• 모든 수준에서 $ \Theta^{(k)} $ 를 공유함으로써 높은 품질의 임베딩을 얻을 수 있으며, 이는 추론 실험에서 무작위 초기화보다 훨씬 우수함을 입증했다 (예: MILE-untr 기준).
• 이 프레임워크는 굴곡을 통해 메모리와 시간 요구량을 줄여, 기존에는 대규모 그래프에서 실행이 불가능했던 NetMF와 GraRep와 같은 방법을 실행 가능하게 한다.
• SEM은 정점의 5–20%를 구조적으로 동일한 것으로 식별하며, YouTube에서는 최대 15%, Yelp에서는 최대 10%까지 해당된다. 이는 대규모에서 효과적인 굴곡을 가능하게 한다.
• 초모수 튜닝 파ip라인에서 사용될 경우 런타임 절감 효과가 더욱 두드러지며, 반복 실행이 복잡도의 상수 요소 감소로 인해 유의미하게 향상되기 때문이다.