[논문 리뷰] Attributed Network Embedding via Subspace Discovery

Daokun Zhang, Jie Yin외 2명|arXiv (Cornell University)|2019. 01. 14.

Advanced Graph Neural Networks참고 문헌 35인용 수 4

한 줄 요약

이 논문은 원래 노드 속성의 네트워크 구조 유도 변환을 통해 잠재 속성 부분공간을 발견하는 통합 프레임워크 attri2vec을 제안한다. 학습된 매핑을 통해 속성 공간을 네트워크 위상과 일치시킴으로써 attri2vec은 노드 표현 품질을 향상시키고, 노드 분류 및 클러스터링에서 최신 기술 수준의 성능을 달성하며, 학습된 매핑 함수를 통해 효율적인 샘플 외 노드 임베딩을 가능하게 한다.

ABSTRACT

Network embedding aims to learn a latent, low-dimensional vector representations of network nodes, effective in supporting various network analytic tasks. While prior arts on network embedding focus primarily on preserving network topology structure to learn node representations, recently proposed attributed network embedding algorithms attempt to integrate rich node content information with network topological structure for enhancing the quality of network embedding. In reality, networks often have sparse content, incomplete node attributes, as well as the discrepancy between node attribute feature space and network structure space, which severely deteriorates the performance of existing methods. In this paper, we propose a unified framework for attributed network embedding-attri2vec-that learns node embeddings by discovering a latent node attribute subspace via a network structure guided transformation performed on the original attribute space. The resultant latent subspace can respect network structure in a more consistent way towards learning high-quality node representations. We formulate an optimization problem which is solved by an efficient stochastic gradient descent algorithm, with linear time complexity to the number of nodes. We investigate a series of linear and non-linear transformations performed on node attributes and empirically validate their effectiveness on various types of networks. Another advantage of attri2vec is its ability to solve out-of-sample problems, where embeddings of new coming nodes can be inferred from their node attributes through the learned mapping function. Experiments on various types of networks confirm that attri2vec is superior to state-of-the-art baselines for node classification, node clustering, as well as out-of-sample link prediction tasks. The source code of this paper is available at https://github.com/daokunzhang/attri2vec.

연구 동기 및 목표

• 속성 기반 네트워크에서 희박하고 불완전한 노드 속성 문제를 해결하기 위해.
• 이질적인 네트워크 구조와 속성 특징 공간 간의 괴리 문제를 해결하기 위해.
• 구조적 정보와 콘텐츠 정보를 동시에 유지하는 고품질의 저차원 노드 표현을 학습하기 위해.
• 학습된 속성 변환을 통해 샘플 외 노드 임베딩을 효율적으로 가능하게 하기 위해.
• 대규모 속성 기반 네트워크를 위한 확장 가능하고 온라인 학습 알고리즘 개발하기 위해.

제안 방법

• 원래 노드 속성을 네트워크 구조 유도 변환을 통해 적용하여 네트워크 위상을 존중하는 잠재 부분공간을 발견한다.
• 구조를 유지하는 표현을 학습하기 위해 속성에 선형 및 비선형 매핑(예: ReLU, sigmoid, 커널)을 적용한다.
• 네트워크 구조와 변환된 속성 공간 양쪽에서 근접성을 유지하는 최적화 문제를 설정하고, 선형 시간 복잡도를 가지는 확률적 경사 하강법으로 해결한다.
• DeepWalk 기법을 사용하여 노드 컨텍스트 시퀀스를 생성함으로써 임베딩 공간에 구조적 유사성이 인코딩되도록 보장한다.
• 학습 중에 매핑 함수를 학습하여, 속성만으로도 훈련 중에 보지 못한 새로운 노드의 임베딩을 추론할 수 있도록 한다.
• 프레임워크는 인덕티브 표현 학습과 효율적인 온라인 업데이트를 모두 지원한다.

실험 결과

연구 질문

• RQ1 네트워크 구조와 더 잘 일치하는 잠재 속성 부분공간을 발견할 수 있는가, 이를 통해 노드 표현 품질이 향상되는가?
• RQ2 속성 희박성 하에서 선형 및 비선형 변환이 속성 기반 네트워크 임베딩 향상에 얼마나 효과적인가?
• RQ3 제안된 방법은 훈련 중에 보이지 않은 샘플 외 노드에 일반화 가능한가?
• RQ4 노드 분류 및 클러스터링 작업에서 최신 기술 수준의 방법들과 비교해 프레임워크는 어떻게 성능을 내는가?
• RQ5 속성 희박성과 모델 초모수의 영향은 제안된 방법의 성능에 어떤 영향을 미치는가?

주요 결과

• attri2vec은 다섯 개인 실세계 네트워크에서 노드 분류 및 클러스터링에서 최신 기술 수준의 기준 모델을 능가하며, Citeseer와 DBLP에서 두드러진 성과 향상을 보였다.
• attri2vec-sigmoid과 Weighted-L2 연산자를 조합한 경우 샘플 외 링크 예측에서 최고의 AUC(0.892)를 기록하여 새로운 노드로의 일반화 능력이 뛰어나다는 것을 입증했다.
• 속성 희박성 상황에서도 강인한 성능 유지를 보였다: 속성이 30%만 존재할 때조차 DeepWalk를 능가했으며, 50%에서 100%의 속성 차원 범위에서 안정적인 성능 유지를 보였다.
• 임베딩 차원, 랜덤 워크 윈도우 크기, 학습 반복 횟수가 증가할수록 성능이 향상되었고, 임계값에 도달한 후 안정화되었다.
• 확률적 경사 하강법은 노드 수에 대해 선형 시간 복잡도를 보장하여 대규모 네트워크에 대한 확장성을 확보했다.
• 학습된 매핑 함수를 통해 새로운, 보지 못한 노드의 속성만으로도 정확한 노드 임베딩 추론이 가능해져 샘플 외 문제를 효과적으로 해결했다.