[논문 리뷰] A Survey on Dynamic Network Embedding

Yu Xie, Chunyi Li외 3명|arXiv (Cornell University)|2020. 06. 15.

Advanced Graph Neural Networks참고 문헌 47인용 수 25

한 줄 요약

이 종합 검토는 동적 네트워크 임bedding(DNE) 방법에 대한 포괄적인 개요를 제시하며, 행렬 분해 기반, Skip-Gram 기반, 오토에인코더 기반, 신경망 기반, 기타 방법의 다섯 가지 유형으로 분류한다. 데이터셋, 하류 작업, 스케일러빌리티, 이종 네트워크, 속성 부여된 네트워크, 작업 중심 학습, 다중 임베딩 공간과 같은 주요 과제들을 체계적으로 검토하며, 변화하는 네트워크 표현 학습 분야의 향후 연구를 위한 기초 자료를 제공한다.

ABSTRACT

Real-world networks are composed of diverse interacting and evolving entities, while most of existing researches simply characterize them as particular static networks, without consideration of the evolution trend in dynamic networks. Recently, significant progresses in tracking the properties of dynamic networks have been made, which exploit changes of entities and links in the network to devise network embedding techniques. Compared to widely proposed static network embedding methods, dynamic network embedding endeavors to encode nodes as low-dimensional dense representations that effectively preserve the network structures and the temporal dynamics, which is beneficial to multifarious downstream machine learning tasks. In this paper, we conduct a systematical survey on dynamic network embedding. In specific, basic concepts of dynamic network embedding are described, notably, we propose a novel taxonomy of existing dynamic network embedding techniques for the first time, including matrix factorization based, Skip-Gram based, autoencoder based, neural networks based and other embedding methods. Additionally, we carefully summarize the commonly used datasets and a wide variety of subsequent tasks that dynamic network embedding can benefit. Afterwards and primarily, we suggest several challenges that the existing algorithms faced and outline possible directions to facilitate the future research, such as dynamic embedding models, large-scale dynamic networks, heterogeneous dynamic networks, dynamic attributed networks, task-oriented dynamic network embedding and more embedding spaces.

연구 동기 및 목표

• 실세계 네트워크의 시간적 변화를 포착하는 데에 정적 네트워크 임베딩의 한계를 보완하기 위해.
• 이전에 없었던 방식으로 기존의 동적 네트워크 임베딩 기법을 체계적으로 분류하기 위해.
• 동적 네트워크 임베딩에 의해 가능해지는 널리 사용되는 데이터셋과 하류 기계 학습 작업을 요약하기 위해.
• 동적 네트워크 표현 학습 분야에서의 주요 열린 과제를 특정하고, 희망적인 향후 연구 방향을 제안하기 위해.

제안 방법

• 행렬 분해 기반, Skip-Gram 기반, 오토에인코더 기반, 신경망 기반, 기타 방법의 다섯 가지 유형으로 구성된 새로운 분류 체계를 제안한다.
• 동적 네트워크를 두 가지 유형으로 분류한다: 스크린샷 기반(이산적 시간 간격)과 연속 시간(타임스탬프가 부여된 간선) 모델링.
• 각 유형에 속하는 대표적인 모델을 검토하며, DeepWalk, node2vec, LINE, SDNE의 시간적 확장 및 DANE와 EOE와 같은 오토에인코더 기반 접근법을 포함한다.
• 네트워크의 진화 과정에서 구조적 동적 특성과 시간적 동적 특성을 모두 유지하기 위한 모델 설계 원칙을 분석한다.
• 링크 예측, 노드 분류, 클러스터링과 같은 하류 작업을 통해 임베딩 품질 평가 프레임워크를 제안한다.
• 표현 능력을 향상시키고 복잡한 네트워크 동적 특성을 유지하기 위해 다중 공간 임베딩 파라다임을 도입한다.

실험 결과

연구 질문

• RQ1 동적 네트워크 임베딩 방법은 네트워크의 구조를 유지하면서 시간적 진화를 효과적으로 포착할 수 있는가?
• RQ2 스냅샷 기반 모델링과 연속 시간 모델링 간의 주요 차이점과 상호 간의 상충 관계는 무엇인가?
• RQ3 기존의 DNE 기법은 링크 예측 및 노드 분류와 같은 다양한 하류 작업에서 어떻게 성능을 발휘하는가?
• RQ4 대규모 및 이종 네트워크에 대한 동적 네트워크 임베딩의 확장성 문제는 무엇인가?
• RQ5 작업 중심 또는 다중 임베딩 공간 설계는 동적 네트워크 표현의 효과성을 어떻게 향상시킬 수 있는가?

주요 결과

• 동적 네트워크 임베딩은 링크 예측 및 노드 분류와 같은 작업에서 정적 방법에 비해 뚜렷한 성능 향상을 보이며 시간적 동적 특성을 효과적으로 포착한다.
• Skip-Gram 기반 모델인 DeepWalk 및 node2vec는 시간에 따른 노드 시퀀스를 모델링함으로써 동적 네트워크에서 뛰어난 성능을 발휘한다.
• DANE 및 EOE와 같은 오토에인코더 기반 방법은 변화하는 네트워크에서 구조적 정보와 속성 정보를 동시에 효과적으로 유지한다.
• 현재의 모델들은 높은 계산 비용과 메모리 소비로 인해 대규모 동적 네트워크에서는 확장성에 어려움을 겪는다.
• 이종성 및 속성 부여된 동적 네트워크 분야에서는 여전히 미비하게 다뤄져 있으며, 노드/간선 유형과 시간적 변화를 동시에 모델링하는 방법이 제한적이다.
• 작업 중심 및 다중 임베딩 공간 접근법은 가능성은 있으나 아직 대부분 탐색되지 않은 분야이며, 향후 연구에 있어 중요한 기회를 제공한다.