[논문 리뷰] Deep Representation Learning for Social Network Analysis

Qiaoyu Tan, Ninghao Liu외 1명|arXiv (Cornell University)|2019. 04. 18.

Advanced Graph Neural Networks참고 문헌 72인용 수 13

한 줄 요약

이 종합 검토는 신경망을 사용한 사회적 네트워크 분석을 위한 딥 표현 학습 기법에 대해 포괄적인 리뷰를 제공한다. 주로 노드 및 서브그래프 임베딩에 초점을 맞추며, 임베딩 룩업, 오토에인코더, 그래프 컨볼루션 기반 접근법으로 방법을 분류하고, 응용 분야, 한계점, 향후 연구 방향(예: 동적, 계층적, 이질적 네트워크)을 논의한다.

ABSTRACT

Social network analysis is an important problem in data mining. A fundamental step for analyzing social networks is to encode network data into low-dimensional representations, i.e., network embeddings, so that the network topology structure and other attribute information can be effectively preserved. Network representation leaning facilitates further applications such as classification, link prediction, anomaly detection and clustering. In addition, techniques based on deep neural networks have attracted great interests over the past a few years. In this survey, we conduct a comprehensive review of current literature in network representation learning utilizing neural network models. First, we introduce the basic models for learning node representations in homogeneous networks. Meanwhile, we will also introduce some extensions of the base models in tackling more complex scenarios, such as analyzing attributed networks, heterogeneous networks and dynamic networks. Then, we introduce the techniques for embedding subgraphs. After that, we present the applications of network representation learning. At the end, we discuss some promising research directions for future work.

연구 동기 및 목표

• 사회적 네트워크 내 노드 및 서브그래프의 저차원 표현을 학습하기 위한 딥 신경망 기반 방법에 대한 체계적인 리뷰를 제공하는 것.
• 확장성, 해석 가능성, 복잡한 네트워크 구조 처리 등의 측면에서 기존 네트워크 표현 학습 기법의 핵심 과제를 규명하는 것.
• 실제 세계의 동적 특성과 구조적 복잡성을 반영하지 못하는 정적, 동질적 네트워크 모델의 한계를 분석하는 것.
• 더 현실적이고 표현력 있는 모델링을 위해 동적, 계층적, 이질적 네트워크 임베딩과 같은 새로운 연구 방향을 부각하는 것.

제안 방법

• 네트워크 표현 학습 방법을 세 가지 핵심 유형으로 분류: 임베딩 룩업 기반, 오토에인코더 기반, 그래프 컨볼루션 네트워크(GCN) 기반 모델.
• 자연어 처리에서 영감을 받은 스킵그램 및 음성 샘플링 기법을 활용한 동질적 네트워크에서의 노드 임베딩 학습 기법을 검토.
• 노드 특징을 표현 학습 과정에 통합하여 특징이 부여된 네트워크에 대한 확장 도입.
• 다양한 노드 및 간선 유형 간의 의미적 관계를 모델링하기 위해 메타패스를 사용한 이질적 네트워크의 방법 논의.
• 시간에 따라 변화하는 노드 집합, 간선, 특징에 적응하는 동적 네트워크 임베딩 기법을 검토.
• 노드 수준의 표현을 기반으로 하위그래프의 구조적 패턴을 포착하는 서브그래프 임베딩 기법 제시.

실험 결과

연구 질문

• RQ1 딥 신경망은 어떻게 사회적 네트워크 내 노드의 저차원이고 의미 있는 표현을 효과적으로 학습할 수 있는가?
• RQ2 기존 정적 네트워크 임베딩 모델이 동적, 계층적, 또는 이질적 네트워크 구조를 반영하는 데에 있어 핵심적인 한계는 무엇인가?
• RQ3 노드 특징, 간선 유형, 시간적 변화는 어떻게 딥 표현 학습 프레임워크에 통합될 수 있는가?
• RQ4 확장성, 해석 가능성, 일반화 능력을 향상시키기 위한 가장 유망한 연구 방향은 무엇인가?

주요 결과

• 신경망 기반 딥 표현 학습 방법은 네트워크 구조 및 특징 정보를 포착하는 데 있어 전통적인 수작업 기반 특징 공학 기법보다 뚜렷한 성능 향상을 보였다.
• 그래프 컨볼루션 네트워크(GCN)와 오토에인코더 기반 모델은 국소적 및 전역적 구조적 패턴을 유지함으로써 노드 분류, 링크 예측, 클러스터링 작업에서 최신 기술 수준의 성능을 달성했다.
• 기존의 동적 네트워크 기법들은 일반적으로 고정된 노드 집합과 제한된 시간 모델링을 가정하고 있어, 실제의 진화하는 네트워크를 다루는 데에 격차가 존재한다.
• 이질적 네트워크 임베딩은 아직 개발이 부족한 상태이며, 메타패스 기반 접근법은 유망한 성과를 보였지만 다양한 실제 시스템에서의 종합적 평가가 부족하다.
• 수십억 개의 노드와 간선을 포함하는 대규모 네트워크에 적용했을 때 확장성은 여전히 주요 과제이다.
• 학습된 임베딩의 해석 가능성은 여전히 제한되어 있으며, 잠재 차원이 의미적 의미를 갖지 못함으로써 모델 신뢰도 향상과 응용 분야에 맞는 정밀 조정이 어려운 상황이다.