[논문 리뷰] Models for Capturing Temporal Smoothness in Evolving Networks for Learning Latent Representation of Nodes

Tanay Kumar Saha, Thomas J. Williams외 3명|arXiv (Cornell University)|2018. 04. 16.

Advanced Graph Neural Networks참고 문헌 24인용 수 11

한 줄 요약

이 논문은 변화하는 네트워크에서 시간에 민감한 노드 표현을 학습하기 위해 두 가지 새로운 모델—리터프래깅 기반 및 선형 변환 기반 모델을 제안한다. 리터프래깅을 통한 局소적 시간적 매끄러움과 선형 변환 연산자를 통한 전역적 매끄러움을 강제화함으로써, 이 모델들은 정확한 시간적 링크 예측을 가능하게 하며, 9개의 실세계 동적 네트워크에서 최신 기술 대비 유의미한 성능 향상을 보이며 AUC, AUPRC, NDCG 지표에서 뛰어난 성능을 기록한다.

ABSTRACT

In a dynamic network, the neighborhood of the vertices evolve across different temporal snapshots of the network. Accurate modeling of this temporal evolution can help solve complex tasks involving real-life social and interaction networks. However, existing models for learning latent representation are inadequate for obtaining the representation vectors of the vertices for different time-stamps of a dynamic network in a meaningful way. In this paper, we propose latent representation learning models for dynamic networks which overcome the above limitation by considering two different kinds of temporal smoothness: (i) retrofitted, and (ii) linear transformation. The retrofitted model tracks the representation vector of a vertex over time, facilitating vertex-based temporal analysis of a network. On the other hand, linear transformation based model provides a smooth transition operator which maps the representation vectors of all vertices from one temporal snapshot to the next (unobserved) snapshot-this facilitates prediction of the state of a network in a future time-stamp. We validate the performance of our proposed models by employing them for solving the temporal link prediction task. Experiments on 9 real-life networks from various domains validate that the proposed models are significantly better than the existing models for predicting the dynamics of an evolving network.

연구 동기 및 목표

• 기존 정적 네트워크 임베딩 모델이 시간적 변화를 忽시하고 해석 가능하고 시간에 일관된 노드 표현을 제공하지 못하는 한계를 해결하기 위해.
• 리터프래깅을 통한 매끄러운 스무딩을 통해 노드 표현의 시간에 따른 변화를 추적함으로써 의미 있는 정점 기반 시간적 분석을 가능하게 하기 위해.
• 선형 변환을 통해 시간 스타트포인트 간의 매끄러운 전이 연산자를 학습함으로써 미래 네트워크 상태 예측을 지원하기 위해.
• 국소적(노드 수준) 및 전역적(네트워크 수준) 시간적 매끄러움을 모두 포착함으로써 시간적 링크 예측 성능을 향상시키기 위해.
• 다양한 실세계 동적 네트워크에서 여러 평가 지표를 통해 제안된 모델의 효과성을 검증하기 위해.

제안 방법

• 리터프래깅 모델은 시간 단계 간에 반복적으로 노드 임베딩을 개선함으로써 시간적 매끄러움을 강제하여, 각 노드의 표현이 시간에 따라 매끄럽게 변화하도록 보장한다.
• 선형 변환 모델은 한 시간 스타트포인트의 노드 임베딩을 다음 스타트포인트로 매핑하는 전역 전이 행렬을 학습하여 미래 네트워크 상태 예측을 가능하게 한다.
• 두 모델 모두 초기화로 사전 훈련된 정적 임베딩(예: Node2Vec, LINE, PCA)을 사용한 후, 시간적 매끄러움 제약 조건을 적용하여 표현을 정밀하게 조정한다.
• 모델들은 스타트포인트 간의 위상적 근접성과 시간 일관성을 균형 잡는 공동 목적 함수를 사용해 엔드 투 엔드로 훈련된다.
• 시간적 매끄러움은 연속된 노드 표현 간 거리 또는 전이 행렬 간 거리를 최소화하는 정규화 항을 통해 강제된다.
• 이 프레임워크는 정점 수준 및 네트워크 수준의 시간적 매끄러움을 모두 지원하여 동적 네트워크 진화의 탄력적인 모델링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 리터프래깅된 노드 임베딩는 국소적 시간적 매끄러움을 포착하고 동적 네트워크에서 정점 수준의 시간적 분석을 향상시킬 수 있는가?
• RQ2 학습된 선형 변환 연산자가 현재 임베딩에서 미래 네트워크 상태를 정확하게 예측하는 데 기여하는가?
• RQ3 제안된 모델은 다양한 실세계 동적 네트워크에서 최신 기술 대비 시간적 링크 예측 성능에서 어떻게 비교되는가?
• RQ4 잠재 차원의 크기가 제안된 모델의 성능에 어떤 영향을 미치는가?
• RQ5 모델들은 네트워크 구조의 시간적 진화를 얼마나 잘 시각화하고 추적할 수 있는가?

주요 결과

• Node2Vec을 초기 생성기로 사용한 리터프래깅 모델은 SMS-A 데이터셋에서 BCGD 대비 NDCG 지표에서 0.07 단위 향상된 성능을 기록하여, 간선 대 상호작용 비율이 높은 데이터셋에서 뛰어난 성능을 입증했다.
• Facebook 데이터셋에서 RET(Node2Vec)는 BCGD 대비 AUC에서 0.21 단위, NDCG에서 0.60 단위 향상된 성능을 기록하여, 타임스탬프 수가 적은 네트워크에서 뛰어난 성능을 보였다.
• Node2Vec과 지수적 스무딩을 사용한 HeterLT 모델은 BCGD 대비 AUPRC에서 0.06 단위, NDCG에서 0.13 단위 향상된 성능을 기록하여, 다양한 스무딩 전략에 대해 뛰어난 안정성을 입증했다.
• 잠재 차원이 32에서 128로 증가함에 따라 성능은 안정되거나 약간 향상되었으며, 일부 모델에서 NDCG가 약 2점 정도 감소하는 것 외에는 거의 영향을 받지 않아 강력한 일반화 능력을 보였다.
• 리터프래깅 모델을 사용한 Enron 데이터셋의 시각화에서는 두 개의 먼 노드가 간선을 형성하기 전에 임베딩 공간에서 점점 더 가까워지는 경향을 확인하여 시간적 매끄러움이 잘 반영됨을 확인했다.
• 모델들은 모든 9개의 데이터셋과 세 가지 지표(AUC, AUPRC, NDCG)에서 BCGD를 일관되게 뛰어넘었으며, 대부분의 경우 통계적으로 유의미한 성능 향상을 기록했다.