[논문 리뷰] Semi-supervised Graph Embedding Approach to Dynamic Link Prediction

Ryohei Hisano|arXiv (Cornell University)|2016. 10. 14.

Complex Network Analysis Techniques참고 문헌 32인용 수 4

한 줄 요약

이 논문은 동적 링크 예측을 위한 준지도 학습 그래프 임베딩 방법인 SemiGraph를 제안한다. 이 방법은 과거 네트워크 역학에서의 지도 학습 손실과 현재 네트워크의 이웃 맥락 예측을 위한 비지도 학습 손실을 가중 조합하여 링크 형성과 해체를 동시에 모델링한다. 모델은 형성과 해체 과정을 위한 별개의 복소수 임베딩을 학습하여, 실제 동적 네트워크에서 링크 해체 예측에서 최신 기술 수준의 성능을 달성하고 형성 예측에서도 뛰어난 성능을 보인다.

ABSTRACT

We propose a simple discrete time semi-supervised graph embedding approach to link prediction in dynamic networks. The learned embedding reflects information from both the temporal and cross-sectional network structures, which is performed by defining the loss function as a weighted sum of the supervised loss from past dynamics and the unsupervised loss of predicting the neighborhood context in the current network. Our model is also capable of learning different embeddings for both formation and dissolution dynamics. These key aspects contributes to the predictive performance of our model and we provide experiments with three real--world dynamic networks showing that our method is comparable to state of the art methods in link formation prediction and outperforms state of the art baseline methods in link dissolution prediction.

연구 동기 및 목표

• 동적 네트워크에서 네트워크 전이, 특히 링크 형성과 해체를 구분하는 데 도전하는 문제를 해결하기 위해.
• 과거(시간적) 및 현재(횡단적) 네트워크 구조를 통합하여 예측 성능을 향상시키기 위해.
• 링크 형성과 해체 동역학을 위한 별개의 임베딩 학습을 가능하게 하여, 이들이 잠재적으로 다른 기초 메커니즘을 가질 수 있음을 반영하기 위해.
• 기존 방법들을 능가하는 성능을 보이며, 특히 링크 해체 예측에서 뛰어난 성능을 발휘하는 확장성 있고 단순한 이산 시간 접근법을 개발하기 위해.

제안 방법

• 모델은 과거 링크 형성 및 해체 네트워크에서 지도 학습 표현을 학습하기 위해 복소수 잠재 특징 이차형 모델을 사용한다.
• 동일한 복소수 벡터를 사용하여 현재 네트워크의 이웃 맥락을 예측하는 비지도 그래프 임베딩 구성요소를 통합한다.
• 총 손실는 과거 역학에서의 지도 학습 손실과 현재 네트워크 맥락에서의 비지도 학습 손실의 가중 합으로 구성된다.
• 모델은 확률적 경사 하강법을 사용하여 복합 손실 함수를 최적화하기 위해 엔드 투 엔드로 훈련된다.
• 복소수 벡터의 사용은 대칭적이고 반대칭적인 관계를 효율적으로 모델링할 수 있게 하여 형성과 해체 동역학을 모두 지원한다.
• 이 방법은 시간 $t$에서 $t+1$로의 전이를 예측하는 데 적용되며, 정적 네트워크 상태가 아닌 변화에 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 과거 역학과 현재 네트워크 구조를 통합하는 준지도 학습 그래프 임베딩 접근법이 네트워크 전이를 효과적으로 예측할 수 있는가?
• RQ2 링크 형성과 해체를 위한 별개의 임베딩을 학습하는 것이 공유 임베딩보다 예측 성능을 향상시키는가?
• RQ3 제안된 방법의 성능은 링크 형성 및 해체 예측에서 최신 기술 수준의 방법들과 비교해 어떻게 되는가?
• RQ4 임베딩 차원 및 손실 가중치 파rameter $\lambda$와 같은 하이퍼파rameter 선택에 대해 모델이 안정적인가?

주요 결과

• 제안된 SemiGraph 모델은 테스트된 세 개의 실세계 데이터셋 전반에서 링크 해체 예측에서 최신 기술 수준의 기준 방법들을 능가한다.
• 링크 형성 예측에서는 최신 기술 수준의 방법들과 비교해 유사한 성능을 달성하여 뛰어난 일반화 능력을 보였다.
• 실험 결과, 지도 학습 손실와 비지도 학습 손실 간 최적의 균형은 $\lambda \approx 0.05$에서 발생하며, 이 값 이상일 경우 성능이 저하됨을 확인했다.
• 다양한 임베딩 차원에서 안정적인 성능을 보이며, 이 하이퍼파rameter에 대해 강건함을 입증했다.
• 시간적 정보와 횡단적 정보를 모두 통합하면, 단독으로 하나의 신호만 사용하는 것보다 예측 정확도가 크게 향상됨을 확인했다.