[논문 리뷰] SINE: Scalable Incomplete Network Embedding

Daokun Zhang, Jie Yin외 2명|arXiv (Cornell University)|2018. 10. 16.

Advanced Graph Neural Networks참고 문헌 19인용 수 4

한 줄 요약

SINE는 완전하지 않은 네트워크에서 강력한 저차원 표현을 학습하기 위해 노드-컨텍스트 및 노드-속성 관계를 동시에 모델링하는 확률적이고 확장 가능한 네트워크 임베딩 방법을 제안한다. 온라인 학습을 위한 확률적 경사 하강법을 사용함으로써 SINE는 결측 연결과 속성을 효과적으로 처리하면서도 대규모 네트워크에서 높은 효율성을 유지하며, 결측 데이터 설정 하에서 노드 분류, 클러스터링, 링크 예측에서 최신 기준 기반 방법들을 능가한다.

ABSTRACT

Attributed network embedding aims to learn low-dimensional vector representations for nodes in a network, where each node contains rich attributes/features describing node content. Because network topology structure and node attributes often exhibit high correlation, incorporating node attribute proximity into network embedding is beneficial for learning good vector representations. In reality, large-scale networks often have incomplete/missing node content or linkages, yet existing attributed network embedding algorithms all operate under the assumption that networks are complete. Thus, their performance is vulnerable to missing data and suffers from poor scalability. In this paper, we propose a Scalable Incomplete Network Embedding (SINE) algorithm for learning node representations from incomplete graphs. SINE formulates a probabilistic learning framework that separately models pairs of node-context and node-attribute relationships. Different from existing attributed network embedding algorithms, SINE provides greater flexibility to make the best of useful information and mitigate negative effects of missing information on representation learning. A stochastic gradient descent based online algorithm is derived to learn node representations, allowing SINE to scale up to large-scale networks with high learning efficiency. We evaluate the effectiveness and efficiency of SINE through extensive experiments on real-world networks. Experimental results confirm that SINE outperforms state-of-the-art baselines in various tasks, including node classification, node clustering, and link prediction, under settings with missing links and node attributes. SINE is also shown to be scalable and efficient on large-scale networks with millions of nodes/edges and high-dimensional node features. The source code of this paper is available at https://github.com/daokunzhang/SINE.

연구 동기 및 목표

• 실세계 네트워크에서 결측 연결과 불완전한 노드 속성에 취약한 기존의 속성 부여된 네트워크 임베딩 방법의 문제를 해결하기 위해.
• 수백만 개의 노드와 고차원 특성을 가진 대규모 네트워크에서도 높은 성능을 유지할 수 있는 확장 가능한 솔루션을 개발하기 위해.
• 결측 데이터의 부정적 영향을 최소화하면서 가용 정보를 효과적으로 활용할 수 있는 유연한 학습 프레임워크를 제공하기 위해.
• 실시간 및 대규모 배포를 위해 온라인 확률적 경사 하강법 알고리즘을 통해 높은 계산 효율성을 달성하기 위해.

제안 방법

• SINE는 노드-컨텍스트 및 노드-속성 관계를 별도로 모델링하여 구조적 및 콘텐츠 의존성을 포착하는 확률적 학습 프레임워크를 제안한다.
• 노드 구조와 속성을 결합하기 위해 3층 신경망을 사용하여 공동 표현 학습을 가능하게 한다.
• 확장된 구조적 의존성을 모델링하고 먼 노드 간의 유사성을 유지하기 위해 랜덤 워크를 활용한다.
• 대규모 네트워크에서 확장 가능하고 증분적인 학습을 가능하게 하기 위해 온라인 최적화 전략으로 확률적 경사 하강법(SGD)을 도입한다.
• 헤다마르드 연산자를 사용하여 컨텍스트 및 속성 시각에서 유래한 노드 표현을 결합함으로써 특징 융합을 향상시킨다.
• SINE는 가용 정보에 집중함으로써 결측 데이터에 동적으로 대응하여, 불완전한 특성이나 연결의 영향을 최소화한다.

실험 결과

연구 질문

• RQ1 대규모 네트워크에서 결측 연결과 불완전한 노드 속성에 강건한 네트워크 임베딩은 어떻게 달성할 수 있는가?
• RQ2 확률적 프레임워크를 통해 노드-컨텍스트 및 노드-속성 관계를 동시에 모델링함으로써 결측 데이터 하에서 표현 품질을 향상시킬 수 있는가?
• RQ3 SINE의 온라인 SGD 기반 학습 전략은 대규모 네트워크에서 배치 방법 대비 확장성과 효율성 측면에서 어떻게 비교되는가?
• RQ4 결측 데이터 조건 하에서 SINE는 노드 분류, 클러스터링, 링크 예측에서 최신 기준 기반 방법들을 얼마나 뛰어나게 성능을 냈는가?

주요 결과

• Cora에서 50%의 속성 결측 상황에서도 SINE는 마이크로-F1 점수 0.9382를 기록하여 두 번째로 우수한 방법(LINE-2, 0.8787)을 크게 앞서며 최고 성능을 기록했다.
• DBLP(Full)에서 50%의 간선 결측 상황에서도 SINE는 링크 예측 성능이 F1 점수 0.8497로 모든 기준 기반 방법들을 능가했다.
• SINE는 뛰어난 확장성을 보이며, DeepWalk과 LINE과 유사한 실행 시간을 기록했고, TADW, HSCA, SDNE, MVC-DNE보다도 크게 빠른 속도를 기록했다.
• 결측 데이터에 대한 강건성은 SINE가 다른 방법들보다 더 높은 결측 간선 비율 증가 상황에서도 성능 저하가 덜 발생함을 보여주었으며, 특히 구조 전용 기준 기반 방법들에 비해 뛰어난 성능을 보였다.
• 파라미터 민감도 분석 결과, 반복 횟수, 윈도우 크기, 임베딩 차원이 증가할수록 성능 향상이 나타났고, 임계값에 도달한 후 안정화됨을 확인했다.
• 모든 평가된 데이터셋(Cora, Citeseer, DBLP)과 작업에서 SINE는 항상 최고 또는 두 번째로 뛰어난 성능을 기록하여 그 효과성과 일반화 능력을 확인했다.