[논문 리뷰] A Tutorial on Network Embeddings

Haochen Chen, Bryan Perozzi외 2명|arXiv (Cornell University)|2018. 08. 08.

Advanced Graph Neural Networks참고 문헌 49인용 수 42

한 줄 요약

이 설문조사는 네트워크 임베딩 방법의 포괄적 개요와 분류를 제공하며, 비지도, 속성 기반, 이종 네트워크를 다루고, 역사, 도전 과제, 향후 방향에 대한 논의를 포함한다.

ABSTRACT

Network embedding methods aim at learning low-dimensional latent representation of nodes in a network. These representations can be used as features for a wide range of tasks on graphs such as classification, clustering, link prediction, and visualization. In this survey, we give an overview of network embeddings by summarizing and categorizing recent advancements in this research field. We first discuss the desirable properties of network embeddings and briefly introduce the history of network embedding algorithms. Then, we discuss network embedding methods under different scenarios, such as supervised versus unsupervised learning, learning embeddings for homogeneous networks versus for heterogeneous networks, etc. We further demonstrate the applications of network embeddings, and conclude the survey with future work in this area.

연구 동기 및 목표

• 확장 가능한 그래프 분석 및 다운스트림 작업(분류, 클러스터링, 링크 예측, 시각화)을 위한 저차원 노드 표현 필요성의 동기를 부여한다.
• 주요 네트워크 임베딩 접근법을 비지도, 지도, 동질/이질, 속성 그래프를 포괄하는 시나리오 전반에 걸쳐 요약하고 분류한다.
• 바람직한 임베딩 특성(적응성, 확장성, 커뮤니티 인식, 저차원성, 연속성) 및 실용적 고려사항을 강조한다.
• 네트워크 표현 학습 연구를 안내하기 위한 도전과제와 향후 방향을 제시한다.

제안 방법

• 맵과 맥락(동질 네트워크의 비지도 학습; 속성 네트워크; 이종 및 방향성 그래프)으로 주요 네트워크 임베딩 방법을 분류하고 고찰한다.
• 기초 개념과 기호를 설명한다(그래프, 네트워크 임베딩, 정의).
• DeepWalk 패러다임과 그 영향력을 설명하고, 무작위 워크를 통한 샘플링 및 임베딩 학습으로의 Skip-gram을 다룬다.
• DeepWalk를 확장하는 주요 방법들(LINE, Node2vec, Walklets, GraRep, GraphAttention, SDNE, DNGR)을 조사하고 이들의 맥락 정의와 학습 목표를 대조한다.
• 에지 임베딩 및 방향성/부호 그래프 처리(예: 비대칭 투영, 트리플렛 기반 목표)를 논의한다.
• 서브그래프 및 그래프 수준 임베딩 도입, 그래프 커널 및 PMI 기반 표현, 그리고 임베딩 향상을 위한 메타전략(HARP 등)을 다룬다.
• 속성 네트워크 임베딩(텍스트/이미지 특징, 노드 레이블) 및 구조와 속성의 공동 모형화(TADW, CENE, HSCA)를 소개한다.

실험 결과

연구 질문

• RQ1 네트워크 임베딩 방법의 주된 카테고리와 주요 아이디어는 무엇인가?
• RQ2 비지도, 속성 기반, 이종 네트워크 임베딩은 목표와 기법에서 어떻게 다른가?
• RQ3 초기 및 현대 임베딩 접근법의 강점과 한계는 무엇이며 전역 구조를 어떻게 통합할 수 있는가?
• RQ4 노드, 에지, 서브그래프 표현을 어떻게 학습하고 다운스트림 작업에 활용할 수 있는가?
• RQ5 속성 및 레이블은 네트워크 임베딩 형성에서 어떤 역할을 하는가?

주요 결과

• 네트워크 임베딩은 노드를 저차원 벡터로 매핑하여 표준 그래프 분석 및 시각화를 가능하게 한다.
• DeepWalk는 맥락(무작위 워크를 통한)과 임베딩(Skip-gram을 통한)의 두 단계 패러다임을 제시했고, 이는 이후 많은 방법에 영감을 주었다.
• 많은 방법들이 지역 맥락(1-2 홉)을 다양한 전략(편향된 워크, 다중 스케일 맥락, 행렬 분해, 주의 메커니즘)으로 확장하여 더 풍부한 구조를 포착한다.
• 에지 및 방향성/부호 그래프 임베딩은 방향과 부호를 존중하기 위해 비대칭 투영, 트리플렛 손실 등 특수한 표현이 필요하다.
• 속성 네트워크 임베딩은 구조와 레이블(예: 텍스트 특징)을 행렬 분해 또는 공동 최적화를 통해 임베딩 학습에 통합한다.
• 메타 전략(HARP와 같은)은 고차원적 글로벌 구조를 보존하고 비볼록 최적화의 초기화를 개선하는 데 목적이 있다.