[논문 리뷰] Using link and content over time for embedding generation in Dynamic Attributed Networks

Ana Paula Appel, Renato L. F. Cunha외 2명|arXiv (Cornell University)|2018. 07. 17.

Complex Network Analysis Techniques참고 문헌 43인용 수 5

한 줄 요약

이 논문은 동적 소유 네트워크에서 링크, 콘텐츠, 시간적 동역학을 공동으로 임bedding하는 공유 행렬 분해 모델인 Chimera를 제안한다. 저랭크이자 시간적으로 연속적인 표현을 학습함으로써, Chimera는 효과적인 커뮤니티 탐지와 미래 커뮤니티 구조의 정확한 예측을 가능하게 하며, arXiv 및 DBLP와 같은 실세계 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

In this work, we consider the problem of combining link, content and temporal analysis for community detection and prediction in evolving networks. Such temporal and content-rich networks occur in many real-life settings, such as bibliographic networks and question answering forums. Most of the work in the literature (that uses both content and structure) deals with static snapshots of networks, and they do not reflect the dynamic changes occurring over multiple snapshots. Incorporating dynamic changes in the communities into the analysis can also provide useful insights about the changes in the network such as the migration of authors across communities. In this work, we propose Chimera, a shared factorization model that can simultaneously account for graph links, content, and temporal analysis. This approach works by extracting the latent semantic structure of the network in multidimensional form, but in a way that takes into account the temporal continuity of these embeddings. Such an approach simplifies temporal analysis of the underlying network by using the embedding as a surrogate. A consequence of this simplification is that it is also possible to use this temporal sequence of embeddings to predict future communities. We present experimental results illustrating the effectiveness of the approach.

연구 동기 및 목표

• 네트워크 구조, 콘텐츠, 시간적 진화를 별개이거나 정적 구성요소로 간주하는 기존 방법의 격차를 보완하기 위해.
• 동적 네트워크에서 링크, 텍스트 콘텐츠, 시간적 진화를 공동으로 모델링하는 통합 프레임워크를 개발하기 위해.
• 학습된 시간적 임베딩을 사용하여 미래 커뮤니티 소속을 정확하게 예측하기 위해.
• 원시 네트워크 스크래치를 대체할 수 있는 임베딩을 사용하여 시간적 네트워크 분석을 단순화하기 위해.

제안 방법

• Chimera는 다중 시간 스타트에 걸쳐 네트워크 인접 행렬과 노드 콘텐츠 행렬을 공동으로 임베딩하기 위해 공유 행렬 분해를 사용한다.
• 저랭크 분해를 통해 링크 및 콘텐츠 행렬을 공통 잠재 공간으로 분해함으로써, 노드 표현의 시간 연속성을 유지한다.
• 링크 재구성, 콘텐츠 재구성, 시간적 매끄러움을 균형 잡는 공동 목표 함수를 최적화하며, 정규화 항을 통해 조정한다.
• 노드 임베딩이 연속적인 시간 단계 간에 큰 변화를 겪지 않도록 하기 위해 시간적 일관성을 강제한다.
• 결과적으로 생성된 노드 임베딩의 시계열은 k-means를 통한 클러스터링 및 향후 커뮤니티 소속 예측에 사용된다.
• 하이퍼파ram터는 검증 데이터에서 클러스터링 성능을 최대화하기 위해 베이지안 최적화를 사용하여 튜닝된다.

실험 결과

연구 질문

• RQ1 통합 모델이 동적 네트워크에서 구조적 링크, 텍스트 콘텐츠, 시간적 진화를 효과적으로 통합하여 커뮤니티 탐지에 기여할 수 있는가?
• RQ2 기존 방법 대비 학습된 임베딩이 미래 커뮤니티 소속을 얼마나 정확하게 예측할 수 있는가?
• RQ3 임베딩에 시간적 매끄러움을 강제하면 시간이 지남에 따라 커뮤니티 탐지의 안정성과 정확도가 향상되는가?
• RQ4 콘텐츠와 시간적 동역학을 통합하면 정적 또는 구조 전용 모델에 비해 커뮤니티 탐지 성능이 얼마나 향상되는가?

주요 결과

• Chimera는 2015년과 2016년의 예측을 바탕으로 2017년 커뮤니티 소속을 예측할 때 Jaccard 지수 0.0765와 품질도 0.4981을 기록하여 강력한 예측 능력을 입증하였다.
• 모델은 커뮤니티 탐지에서 기존 방법을 능가했으며, 10개의 잠재 차원과 특정 정규화 파ram터를 사용할 때 최고의 성능를 기록했다.
• 알고리즘의 런타임은 네트워크 크기에 따라 제곱적으로 증가하며, 성능 데이터를 2차 다항식에 적합함으로써 O(n²kT) 복잡도가 확인되었다.
• 예측된 임베딩을 시계열에 추가함으로써 반복 예측이 가능해졌으며, 추가 노이즈가 존재하더라도 성능을 유지했다.
• 공유 분해를 사용함으로써 링크, 콘텐츠, 시간 신호가 단일 해석 가능한 잠재 표현으로 원활하게 통합될 수 있었다.