[논문 리뷰] Network Embedding: An Overview

Nino Arsov, Georgina Mirceva|arXiv (Cornell University)|2019. 11. 26.

Advanced Graph Neural Networks참고 문헌 18인용 수 23

한 줄 요약

이 논문은 네트워크 임베딩 기법에 대한 종합적인 개요를 제공하며, 네트워크 내 노드의 저차원 실수값 표현을 학습하기 위한 네 가지 핵심 방법—Spectral Clustering, DeepWalk, LINE, node2vec—을 검토한다. 링크 예측 작업에서 node2vec가 다른 방법들보다 일관되게 뛰어난 성능을 보이며, 다양한 데이터셋에서 LINE 대비 최대 6.5% 높은 AUC 점수를 기록함으로써 학습된 특징 벡터를 통해 구조적 유사성을 효과적으로 유지하고 있음을 시사한다.

ABSTRACT

Networks are one of the most powerful structures for modeling problems in the real world. Downstream machine learning tasks defined on networks have the potential to solve a variety of problems. With link prediction, for instance, one can predict whether two persons will become friends on a social network. Many machine learning algorithms, however, require that each input example is a real vector. Network embedding encompasses various methods for unsupervised, and sometimes supervised, learning of feature representations of nodes and links in a network. Typically, embedding methods are based on the assumption that the similarity between nodes in the network should be reflected in the learned feature representations. In this paper, we review significant contributions to network embedding in the last decade. In particular, we look at four methods: Spectral Clustering, DeepWalk, Large-scale Information Network Embedding (LINE), and node2vec. We describe each method and list its advantages and shortcomings. In addition, we give examples of real-world machine learning problems on networks in which the embedding is critical in order to maximize the predictive performance of the machine learning task. Finally, we take a look at research trends and state-of-the art methods in the research on network embedding.

연구 동기 및 목표

• 저차원 노드 표현을 학습하기 위한 주로 비지도 학습 기반 네트워크 임베딩 방법을 조사하고 비교하기.
• 이러한 방법들이 링크 예측과 같은 후속 기계학습 작업에서의 성능을 평가하기.
• 각 방법이 네트워크 구조와 유사성을 포착하는 데서의 강점과 한계를 규명하기.
• 이주된 연구 트렌드, 특히 이질적 네트워크, 특성 부여된 네트워크, 구조적 역할 보존을 고려한 네트워크 표현 학습의 향후 방향성 강조하기.

제안 방법

• 랜덤 워크를 사용하여 노드 시퀀스를 생성하고, 이를 스위프트-그램 모델의 입력으로 활용해 노드 임베딩을 학습한다.
• node2vec에서 지역적 및 전역적 네트워크 구조 탐색의 균형을 이루기 위해 편향된 랜덤 워크 전략을 적용한다.
• Spectral Clustering와 LINE에서 행렬 분해 기법을 활용하여 임베딩 공간 내에서의 근접성과 유사성을 유지한다.
• 링크 예측을 위해 노드 특징 표현을 히든 프로덕트, 평균, L1/L2 노름과 같은 연산자로 조합한다.
• 확산 웨이블릿과 struc2vec을 활용해 구조적 정체성과 대칭성을 고려하여 네트워크 구조에 대해 불변인 임베딩을 학습한다.
• 다른 노드 유형 간의 의미적 관계를 포착하기 위해 메타패스를 모델링하는 metapath2vec을 도입하여 이질적 네트워크에 대한 효과적인 임베딩 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 다양한 네트워크 임베딩 방법은 학습된 표현에서 네트워크 구조와 유사성을 얼마나 잘 유지하는가?
• RQ2 예를 들어 히든 프로덕트, 평균 등의 다양한 집계 연산자(예: Hadamard, average)는 링크 예측 성능에 어떤 영향을 미치는가?
• RQ3 왜 node2vec은 링크 예측과 같은 후속 작업에서 DeepWalk와 LINE보다 뛰어난 성능을 내는가?
• RQ4 최근의 방법들은 이질적 및 특성 부여된 네트워크에서의 과제를 어떻게 해결하는가?
• RQ5 네트워크 표현 학습 분야의 주요 트렌드와 향후 방향성은 무엇인가?

주요 결과

• node2vec은 링크 예측에서 가장 높은 AUC 점수를 기록했으며, 히든 프로덕트 연산자를 사용해 페이스북 데이터셋에서 0.9680의 점수를 기록했다.
• PPI 데이터셋에서 node2vec은 AUC 0.7719를 기록했으며, DeepWalk(0.7441)와 LINE(0.7249)를 모두 초월했다.
• 히든 프로덕트 연산자는 모든 데이터셋과 알고리즘에서 가장 안정적이고 높은 성능을 지속적으로 보였다.
• arXiv ASTRO-PH 데이터셋에서 node2vec은 DeepWalk 대비 최대 3.8% 향상된 성능을 기록했고, LINE 대비 6.5% 향상된 성능을 기록했다.
• Spectral Clustering는 링크 예측에서 성능이 열악했으며, 대부분의 데이터셋에서 AUC 점수가 0.60 이하였고, 이는 확장성과 표현력 측면에서 제한이 있음을 시사한다.
• 최근의 방법들인 metapath2vec과 struc2vec은 각각 이질적 네트워크와 구조적으로 대칭적인 네트워크에서 효과적인 임베딩 학습을 가능하게 했다.