[논문 리뷰] Network Vector: Distributed Representations of Networks with Global Context

Hao Wu, Kristina Lerman|arXiv (Cornell University)|2017. 09. 07.

Advanced Graph Neural Networks참고 문헌 19인용 수 3

한 줄 요약

Network Vector는 랜덤 워크 기반 훈련을 통해 국소적 근접성과 전역적 네트워크 맥락을 모두 포착함으로써 노드와 전체 네트워크의 공동 분포 표현을 학습하는 신경망 임베딩 알고리즘입니다. 기존의 최고 수준의 방법들인 node2vec보다 노드 분류, 역할 탐지, 개념 유추 작업에서 전역적 네트워크 구조를 명시적으로 모델링함으로써 우수한 성능을 보이며, 제한된 레이블 데이터에서 최대 10.3% 높은 마이크로-F1 스코어를 달성합니다.

ABSTRACT

We propose a neural embedding algorithm called Network Vector, which learns distributed representations of nodes and the entire networks simultaneously. By embedding networks in a low-dimensional space, the algorithm allows us to compare networks in terms of structural similarity and to solve outstanding predictive problems. Unlike alternative approaches that focus on node level features, we learn a continuous global vector that captures each node's global context by maximizing the predictive likelihood of random walk paths in the network. Our algorithm is scalable to real world graphs with many nodes. We evaluate our algorithm on datasets from diverse domains, and compare it with state-of-the-art techniques in node classification, role discovery and concept analogy tasks. The empirical results show the effectiveness and the efficiency of our algorithm.

연구 동기 및 목표

• 기존의 네트워크 임베딩 방법들이 국소적 노드 이웃에만 초점을 두고 전역적 네트워크 구조를 포착하지 못하는 한계를 해결하기 위해.
• 낮은 차원 공간에서 노드 수준과 네트워크 수준의 표현을 공동으로 학습하는 확장 가능한 종단 간 알고리즘을 개발하기 위해.
• 네트워크의 구조 유사성에 대한 정량적 비교와 구조적으로 유사한 노드 또는 네트워크 식별을 가능하게 하기 위해.
• 전역 맥락을 통합함으로써 노드 분류, 역할 탐지, 개념 유추와 같은 예측 작업의 성능을 향상시키기 위해.
• 텍스트 또는 비텍스트적 속성을 네트워크 표현 학습에 통합할 수 있는 유연한 프레임워크를 제공하기 위해.

제안 방법

• 알고리즘은 랜덤 워크를 사용해 노드의 순서를 생성하며, 각 워크를 '문장'으로 간주하고 네트워크를 '문서'로 간주합니다.
• 노드 임베딩과 함께 최적화되는 전역 맥락 벡터를 도입하여, 랜덤 워크 순서에서 다음 노드를 예측할 확률을 최대화합니다.
• 국소적 노드 근접성(스킵그램 모델을 통해)과 전역 네트워크 맥락을 결합하는 목적 함수를 사용하며, 효율적인 훈련을 위해 음성 샘플링을 적용합니다.
• 전역 맥락 벡터는 모든 노드에 공유되며 전체 네트워크의 구조적 특성을 포착합니다.
• 알고리즘은 대규모 실세계 네트워크에 대해 확장 가능하며, 노드 수준과 네트워크 수준의 유사성 비교를 모두 지원합니다.
• 노드를 단어로, 랜덤 워크 경로를 문장으로 대체함으로써 Paragraph Vector 프레임워크(Le & Mikolov, 2014)를 네트워크에 확장합니다.

실험 결과

연구 질문

• RQ1 통합된 임베딩 프레임워크는 국소적 및 전역적 구조 정보를 유지하면서 노드와 전체 네트워크를 동시에 표현할 수 있는가?
• RQ2 전역 네트워크 맥락을 통합할 경우, 국소적 정보만을 고려하는 방법에 비해 노드 분류 및 역할 탐지 작업에서 성능이 어떻게 향상되는가?
• RQ3 Network Vector는 다양한 네트워크 유형에서 구조적 유사성을 포착하는 데 있어 node2vec, LINE, DeepWalk과 같은 최고 수준의 방법들보다 얼마나 뛰어나게 성능을 내는가?
• RQ4 레이블 데이터의 양이 다양한 수준일 경우, 특히 데이터가 적은 환경에서 알고리즘이 어떻게 성능을 내는가?
• RQ5 어떤 상황에서 전역 맥락이 가장 큰 도움이 되며, 어떤 경우에서는 덜 효과적인가?

주요 결과

• Network Vector는 모든 데이터셋에서 node2vec보다 마크로-F1 및 마이크로-F1 스코어에서 일관되게 뛰어난 성능을 보이며, BFS 유사 랜덤 워크 샘플링(높은 q 값)일수록 성능 향상이 더 두드러집니다.
• 블로깅 캘린더(BlogCatalog) 데이터셋에서 40%의 데이터가 레이블링된 상태에서 Network Vector는 node2vec 대비 마이크로-F1 스코어에서 10.3% 향상된 성능을 기록하여 제한된 감독 하에서도 뛰어난 일반화 능력을 보입니다.
• PPI 데이터셋에서 Network Vector는 다양한 (p,q) 설정에서도 node2vec에 비해 안정적인 성능 향상을 유지하며, 샘플링 편향에 대한 강건성을 보입니다.
• 레이블 데이터가 10%일 경우에도 Network Vector는 마크로-F1에서 1.5% 향상되고 마이크로-F1에서 7.1% 향상되어, 낮은 데이터 환경에서도 효과적임을 입증합니다.
• 랜덤 워크가 BFS 유사 탐색을 선호할 경우 성능 향상이 가장 두드러지며, 이는 국소 정보가 농후하고 구조적으로 잘 정리된 경우 전역 맥락이 가장 유익함을 시사합니다.
• 알고리즘은 네트워크 수준의 비교를 효과적으로 가능하게 하여, 조직 네트워크에서의 관리자와 같은 구조적으로 유사한 노드 식별 및 서로 다른 네트워크 간의 유사한 관계 탐지에 기여합니다.