[논문 리뷰] Network Representation Learning: A Survey

Daokun Zhang, Jie Yin외 2명|arXiv (Cornell University)|2017. 12. 04.

Complex Network Analysis Techniques참고 문헌 105인용 수 46

한 줄 요약

이 종합적 서베이는 네트워크 표현 학습(NRL) 방법에 대한 체계적인 분류 체계와 분석을 제공하며, 학습 메커니즘, 유지되는 네트워크 정보, 알고리즘 설계 기준으로 분류한다. 기준 데이터셋, 오픈소스 도구, 알고리즘 간의 실험적 성능를 평가하여, 확률적 경사 하강법 기반 방법(예: node2vec)이 행렬 분해 기반 방법보다 훨씬 더 스케일이 잘 된다는 점을 밝혀내며, 딥러닝 및 이질적 네트워크 방법은 잠재력은 있지만 확장성과 견고성 문제에 직면해 있음을 시사한다.

ABSTRACT

With the widespread use of information technologies, information networks are becoming increasingly popular to capture complex relationships across various disciplines, such as social networks, citation networks, telecommunication networks, and biological networks. Analyzing these networks sheds light on different aspects of social life such as the structure of societies, information diffusion, and communication patterns. In reality, however, the large scale of information networks often makes network analytic tasks computationally expensive or intractable. Network representation learning has been recently proposed as a new learning paradigm to embed network vertices into a low-dimensional vector space, by preserving network topology structure, vertex content, and other side information. This facilitates the original network to be easily handled in the new vector space for further analysis. In this survey, we perform a comprehensive review of the current literature on network representation learning in the data mining and machine learning field. We propose new taxonomies to categorize and summarize the state-of-the-art network representation learning techniques according to the underlying learning mechanisms, the network information intended to preserve, as well as the algorithmic designs and methodologies. We summarize evaluation protocols used for validating network representation learning including published benchmark datasets, evaluation methods, and open source algorithms. We also perform empirical studies to compare the performance of representative algorithms on common datasets, and analyze their computational complexity. Finally, we suggest promising research directions to facilitate future study.

연구 동기 및 목표

• 학습 메커니즘, 유지되는 네트워크 정보, 알고리즘 설계 기반으로 네트워크 표현 학습(NRL) 기법에 대한 체계적인 분류 체계를 제공하기 위해.
• 비지도 및 준지도 설정에서 최신 NRL 알고리즘을 검토하고 비교하여 그 강점과 한계를 부각하기 위해.
• 기준화된 평가 프로토콜, 즉 기준 데이터셋, 평가 지표, 오픈소스 구현을 요약하기 위해.
• 공통 데이터셋에서 대표적인 NRL 알고리즘의 성능 및 계산 복잡도를 경험적으로 비교하기 위해.
• 확장성, 이질성, 부호화된 네트워크, 노이즈에 대한 견고성과 같은 새로운 연구 방향을 식별하고 논의하기 위해.

제안 방법

• 학습 설정 기반으로 비지도 및 준지도 설정으로 나누어지는 새로운 분류 체계를 제안하며, 정보 소스 및 알고리즘 접근 방식에 따라 추가로 세분화한다.
• 기본 메커니즘 기반으로 분류: 무작위 보행 기반(예: DeepWalk, node2vec), 행렬 분해 기반(예: LINE, SDNE), 딥러닝 기반(예: GCN, VGAE).
• 엣지 모델링 및 노드 간 근접성 유지 기법을 검토하며, 국소적 및 전역적 구조적 패턴을 학습하기 위해 음성 샘플링을 적용한 스킵그램 기법을 포함한다.
• 계산 복잡도를 분석하여, 확률적 경사 하강법 기반 방법이 고유값 분해 기반 행렬 분해 방법보다 더 잘 스케일링됨을 보여준다.
• 노이즈 또는 확률적 네트워크를 다루기 위한 견고성 기법(예: 적대적 훈련(ANE, ARGA), 불확실성 인식 임베딩(URGE))을 평가한다.
• 다양한 엔티티 유형 간의 복잡한 의미적 관계를 모델링하기 위해 메타패스와 메타구조를 사용한 이질적 정보 네트워크(HIN) 임베딩을 분석한다.

실험 결과

연구 질문

• RQ1 학습 메커니즘, 유지되는 정보, 알고리즘 설계 기반으로 네트워크 표현 학습 방법을 어떻게 체계적으로 분류할 수 있는가?
• RQ2 표준 기준 데이터셋에서 주요 NRL 알고리즘 간의 상대적 성능 및 계산 효율성 간의 트레이드오프는 어떠한가?
• RQ3 다양한 NRL 방법들은 정점 속성, 네트워크 구조, 노드 콘텐츠 또는 엣지 유형과 같은 부가 정보를 어떻게 다루는가?
• RQ4 수백만 또는 수십억 개의 노드를 포함하는 대규모 네트워크에 대해 NRL 방법을 확장하는 데 있어 핵심 과제는 무엇인가?
• RQ5 견고성 향상, 이질적 네트워크 처리, 부호화된 관계 모델링을 위한 유망한 연구 방향은 무엇인가?

주요 결과

• 확률적 경사 하강법 기반 방법(예: node2vec, DeepWalk)은 고유값 분해에 의존하는 행렬 분해 기반 방법(예: LINE, SDNE)보다 훨씬 더 뛰어난 확장성을 보이며, 특히 대규모 네트워크에서 유리하다.
• 행렬 분해 기반 방법은 커뮤니티 구조 유지 및 정점 속성 통합에서 뛰어난 성능를 보이지만, 대규모 네트워크에서는 높은 계산 비용으로 인해 성능에 제약을 받는다.
• 딥러닝 기반 방법(예: GCN, VGAE)은 네트워크 내 비선형 관계를 모델링할 수 있지만, 일반적으로 상당한 계산 자원이 필요하며 아키텍처 최적화 없이선 확장성이 떨어진다.
• 메타패스를 사용한 이질적 정보 네트워크(HIN) 임베딩은 다양한 엔티티 유형 간의 의미적 근접성 학습이 가능하지만, 여전히 초기 단계에 있으며 표준화가 부족한 상태이다.
• ANE 및 URGE와 같은 견고성 기법은 노이즈 및 엣지 불확실성 하에서도 표현의 안정성을 향상시키며, 적대적 및 확률적 정규화가 실제 노이즈가 많은 네트워크에 효과적임을 시사한다.
• 경험적 평가 결과, 랜덤 워크 기반 방법은 노드 분류 및 링크 예측과 같은 후속 작업에서 속도와 성능 면에서 모두 행렬 분해 기반 방법을 능가하는 경향을 보였다.