[논문 리뷰] Network Representation Learning: From Preprocessing, Feature Extraction to Node Embedding

Jingya Zhou, Ling Liu외 2명|arXiv (Cornell University)|2021. 10. 14.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 동종 네트워크를 대상으로 한 네트워크 표현 학습(NRL)을 위한 통합된 삼단계 프레임워크를 제안하며, 과정을 사전처리, 특징 추출, 노드 임베딩 모델 학습으로 분해한다. 이는 동종 네트워크 분야의 최신 NRL 방법들을 체계적으로 검토하며, 설계 원칙, 기법, 그리고 해석 가능성과 근접성-구분 가능성 간의 상충관계와 같은 열린 과제를 강조한다.

ABSTRACT

Network representation learning (NRL) advances the conventional graph mining of social networks, knowledge graphs, and complex biomedical and physics information networks. Over dozens of network representation learning algorithms have been reported in the literature. Most of them focus on learning node embeddings for homogeneous networks, but they differ in the specific encoding schemes and specific types of node semantics captured and used for learning node embedding. This survey paper reviews the design principles and the different node embedding techniques for network representation learning over homogeneous networks. To facilitate the comparison of different node embedding algorithms, we introduce a unified reference framework to divide and generalize the node embedding learning process on a given network into preprocessing steps, node feature extraction steps and node embedding model training for a NRL task such as link prediction and node clustering. With this unifying reference framework, we highlight the representative methods, models, and techniques used at different stages of the node embedding model learning process. This survey not only helps researchers and practitioners to gain an in-depth understanding of different network representation learning techniques but also provides practical guidelines for designing and developing the next generation of network representation learning algorithms and systems.

연구 동기 및 목표

• 동종 네트워크를 위한 네트워크 표현 학습(NRL) 기법에 대한 종합적이고 체계적인 리뷰를 제공하는 것.
• 다양한 NRL 알고리즘을 비교하기 위한 표준화된 기준 프레임워크의 부족을 해결하는 것.
• 근접성과 구분 가능성 간의 상충관계, 해석 가능성, 자동화된 학습과 같은 NRL의 핵심 과제를 특정 및 분석하는 것.
• 연구자와 실무자가 종단 간 NRL 워크플로우를 이해하고 차세대 NRL 시스템 설계에 기여할 수 있도록 안내하는 것.
• 다양한 NRL 방법들을 동일한 분류 체계에 통합하여 기존 접근법 간의 명확성과 비교 가능성 향상

제안 방법

• 삼단계 기준 프레임워크 제안: (1) 사전처리, (2) 특징 추출, (3) 노드 임베딩 모델 학습.
• 노드 샘플링, 필터링, 변환과 같은 네트워크 구조 조작 기반으로 사전처리 기법을 분류.
• 랜덤 워크, 그래프 컨볼루션, 행렬 분해 등을 포함한 구조적, 위상적, 하이브리드 접근법으로 특징 추출 방법을 분류.
• 오토에인코더, GCN, 스킵그램 모델 등을 포함한 딥러닝 아키텍처를 사용한 노드 임베딩 모델 검토.
• 행렬 분해와 그래프 라플라시안을 통한 전통적 기법(예: DeepWalk, LINE, node2vec)을 통합하는 데 중점을 두어 NetMF를 통합 모델로 활용.
• 해석 가능성 향상을 위해 상징적 추론 및 논리 프로그래밍(예: 추론 기반 학습)을 통합.

Figure 1. An illustration of NRL and its deployment in example applications (Fan et al . , 2019 ; Wang et al . , 2019 ; Fout et al . , 2017 ; Han et al . , 2019 ; Fu et al . , 2020 ; Wei et al . , 2020 ) .

실험 결과

연구 질문

• RQ1 다양한 네트워크 표현 학습 방법을 체계적으로 비교하고 분류하기 위한 통합 프레임워크를 어떻게 수립할 수 있는가?
• RQ2 최신 NRL 알고리즘 간의 사전처리, 특징 추출, 임베딩 모델 설계에서의 주요 차이점은 무엇인가?
• RQ3 다양한 NRL 방법들은 학습된 임베딩에서 근접성 유지와 노드 구분성 간의 균형을 어떻게 조정하는가?
• RQ4 학습된 노드 임베딩의 해석 가능성에 대한 현재의 한계는 무엇이며, 이를 어떻게 해결할 수 있는가?
• RQ5 차세대 NRL 시스템을 발전시키기 위해 가장 중요한 향후 방향은 무엇인가?

주요 결과

• 제안된 삼단계 프레임워크는 NRL 기법을 이해하고 비교하기 위한 명확하고 체계적이며 확장 가능한 구조를 제공한다.
• 노드 샘플링 및 엣지 필터링과 같은 사전처리 기법은 특히 고도수 허브를 가진 스케일프리 네트워크에서 후속 임베딩 품질에 큰 영향을 미친다.
• 랜덤 워크(DeepWalk) 및 그래프 컨볼루션(GCN)과 같은 특징 추출 방법은 국소적 및 전역적 구조적 패턴을 효과적으로 포착한다.
• 행렬 분해 기반 모델인 NetMF는 DeepWalk, LINE, node2vec 등의 여러 NRL 알고리즘을 동일한 수학적 공식 아래 통합한다.
• 해석 가능성은 여전히 주요 열린 과제이며, 잘 작동하는 특정 임베딩의 이론적 또는 메커니즘적 설명을 제공하는 방법은 거의 없다.
• 현재 모델에서 근접성(이웃 관계 유지)과 구분 가능성(다른 노드 간 분리) 간의 상충관계는 아직 완전히 해결되지 않았다.

Figure 2. An example of a three-layer neural network used to realize network representation learning. (1) build corpus based on random walk ( $\gamma=4$ , $t=8$ , $\alpha=0$ ); (2) build training set based on sliding window ( $s=1$ ); (3) build vocabulary to store the set of nodes and their frequenc