[논문 리뷰] Initialization for Network Embedding: A Graph Partition Approach

Wenqing Lin, Feng He외 3명|arXiv (Cornell University)|2019. 08. 28.

Advanced Graph Neural Networks참고 문헌 30인용 수 4

한 줄 요약

이 논문은 네트워크 임베딩을 위한 그래프 분할 기반 초기화 방법인 GPA를 제안한다. 이 방법은 효과성과 효율성을 모두 향상시킨다. 입력 그래프를 상호배타적인 부분그래프로 분할하고, 이를 바탕으로 더 작은 추상 그래프를 구성하며, 수정된 스킵그램 모델을 통해 그 임베딩을 계산한 후 원본 노드로 다시 전파함으로써, 노드 분류 작업에서 최대 8.74% 향상되고, 모든 데이터셋에서 최소 20% 이상의 학습 시간 단축을 달성한다.

ABSTRACT

Network embedding has been intensively studied in the literature and widely used in various applications, such as link prediction and node classification. While previous work focus on the design of new algorithms or are tailored for various problem settings, the discussion of initialization strategies in the learning process is often missed. In this work, we address this important issue of initialization for network embedding that could dramatically improve the performance of the algorithms on both effectiveness and efficiency. Specifically, we first exploit the graph partition technique that divides the graph into several disjoint subsets, and then construct an abstract graph based on the partitions. We obtain the initialization of the embedding for each node in the graph by computing the network embedding on the abstract graph, which is much smaller than the input graph, and then propagating the embedding among the nodes in the input graph. With extensive experiments on various datasets, we demonstrate that our initialization technique significantly improves the performance of the state-of-the-art algorithms on the evaluations of link prediction and node classification by up to 7.76% and 8.74% respectively. Besides, we show that the technique of initialization reduces the running time of the state-of-the-arts by at least 20%.

연구 동기 및 목표

• 네트워크 임베딩 성능에 미치는 초기화의 중요성이나 자주 간과되는 영향을 다루기 위해.
• 지난 초기화 방법들이 국소적 군집화에 의존하고 전반적인 그래프 구조를 유지하지 못하는 한계를 극복하기 위해.
• 네트워크 임베딩 알고리즘의 하이퍼파라미터 튜닝에 드는 계산 비용을 학습된 회귀 모델을 통해 감소시키기 위해.
• 최신 네트워크 임베딩 알고리즘의 효과성(정확도)과 효율성(학습 속도)을 동시에 향상시키기 위해.

제안 방법

• METIS 등의 그래프 분할 알고리즘을 적용하여 입력 그래프를 상호배타적이며 에지 컷 수가 낮은 부분그래프로 분할한다.
• 각 분할이 하나의 노드가 되고, 분할 간 간선은 그 빈도 수에 따라 가중치가 부여된 추상 그래프를 구성한다.
• 가중치가 부여된 무작위 보행을 사용한 수정된 DeepWalk 알고리즘을 통해 추상 그래프에서 네트워크 임베딩을 계산한다.
• 사전 처리 단계에서 회귀 모델을 학습하여 임베딩 알고리즘의 최적 하이퍼파라미터(예: 보행 길이, 음성 샘플 수)를 예측한다.
• 선형 시간 메시지 전달 메커니즘을 통해 추상 그래프의 노드 임베딩을 원본 그래프의 노드로 전파한다.
• 전파된 임베딩을 최종 네트워크 임베딩 알고리즘의 초기 노드 표현으로 사용한다.

실험 결과

연구 질문

• RQ1 그래프 분할 기반 접근 방식이 네트워크 표현 학습에서 초기 노드 임베딩의 품질을 향상시킬 수 있는가?
• RQ2 기존 기준선(예: HARP, 무작위 초기화)과 비교할 때 제안된 초기화 방법이 최종 작업 성능에서 어떤가?
• RQ3 제안된 방법이 네트워크 임베딩 알고리즘의 학습 시간을 어느 정도 감소시키는가?
• RQ4 경험적 탐색 없이도 학습된 회귀 모델이 추상 그래프에서 네트워크 임베딩에 최적의 하이퍼파라미터를 효과적으로 예측할 수 있는가?

주요 결과

• GPA는 최신 기준 대비 링크 예측 성능을 최대 7.76% 향상시켰다.
• 노드 분류 작업에서 GPA는 HARP 대비 마이크로-F1 점수 기준 최대 8.74%의 성능 향상을 달성했다.
• 모든 평가된 데이터셋에서 학습 시간을 최소 20% 감소시켰으며, Enron 데이터셋에서는 33.33% 감소를 관찰했다.
• 하이퍼파라미터 튜닝을 위한 회귀 모델은 임베딩 품질을 손상시키지 않으면서도 빠른 선형 시간 설정을 가능하게 했다.
• 추상 그래프 구축 과정은 필수적인 구조적 정보를 유지했으며, 전반적인 연결성을 왜곡시키는 국소적 군집화 방법보다 우수한 성능을 보였다.
• 초기화 전략은 조기 수렴과 더 나은 최종 임베딩을 이끌었으며, 이는 LINE 및 DeepWalk와 같은 기존 알고리즘과도 호환되었다.