[논문 리뷰] Topological Recurrent Neural Network for Diffusion Prediction

Jia Wang, Vincent W. Zheng외 2명|arXiv (Cornell University)|2017. 11. 28.

Complex Network Analysis Techniques참고 문헌 2인용 수 15

한 줄 요약

이 논문은 정보 확산을 동적 방향 비순환 그래프(DAG)로 모델링하는 새로운 기하학적 순환 신경망인 Topo-LSTM을 제안한다. 이를 통해 시간에 따라 변화하는 확산 구조의 진화를 포착할 수 있다. 활성화의 계층적이고 시간적인 확산을 명시적으로 모델링함으로써, 실제 데이터셋에서 평균 평균 정밀도(MAP) 기준으로 최신 기술 대비 20.1%~56.6% 향상된다.

ABSTRACT

In this paper, we study the problem of using representation learning to assist information diffusion prediction on graphs. In particular, we aim at estimating the probability of an inactive node to be activated next in a cascade. Despite the success of recent deep learning methods for diffusion, we find that they often underexplore the cascade structure. We consider a cascade as not merely a sequence of nodes ordered by their activation time stamps; instead, it has a richer structure indicating the diffusion process over the data graph. As a result, we introduce a new data model, namely diffusion topologies, to fully describe the cascade structure. We find it challenging to model diffusion topologies, which are dynamic directed acyclic graphs (DAGs), with the existing neural networks. Therefore, we propose a novel topological recurrent neural network, namely Topo-LSTM, for modeling dynamic DAGs. We customize Topo-LSTM for the diffusion prediction task, and show it improves the state-of-the-art baselines, by 20.1%--56.6% (MAP) relatively, across multiple real-world data sets. Our code and data sets are available online at https://github.com/vwz/topolstm.

연구 동기 및 목표

• 기존 딥러닝 모델이 단순한 노드 순서를 넘어서 정보 확산의 풍부한 구조적 동역학을 포착하는 데에 한계가 있음을 해결하고자 한다.
• 데이터 그래프 상에서 시간에 따라 변화하는 정보의 확산을 동적 DAG로 명시적으로 표현하는 새로운 데이터 모델인 확산 구조(topology)를 제안하고자 한다.
• 이러한 동적 DAG 내의 계층적 및 시간적 종속성을 정확한 향후 활성화 예측을 위해 모델링할 수 있는 신경망 아키텍처인 Topo-LSTM를 설계하고자 한다.
• 순차적 활성화 순서를 넘어서 확산 구조를 모델링할 경우, 확산 예측 작업에서 성능 향상이 상당히 이루어진다는 것을 입증하고자 한다.

제안 방법

• 데이터 그래프 상에서 활성화된 노드가 비활성화된 이웃 노드를 활성화하려는 방식으로 정보가 확산되는 동적 확산 구조를 모델링하기 위해, 동적 DAG로 표현되는 새로운 데이터 모델인 확산 구조를 도입한다.
• Topological order를 따라 은닉 상태를 전파함으로써 동적 DAG 상에서 작동하는 특화된 LSTM 버전인 Topo-LSTM를 설계한다. 이를 통해 확산 구조 내의 인과적 종속성을 유지한다.
• DAG 내에서의 구조적 위치와 시간적 전파 패턴을 모두 캡처하는 노드 임베딩을 학습시켜 Topo-LSTM을 확산 예측에 맞게 맞춤화한다.
• 각 비활성화된 노드가 다음에 활성화될 확률을 예측하기 위해 교차 엔트로피 손실을 사용하여 모델을 엔드 투 엔드로 훈련시킨다.
• 은닉 상태가 올바른 인과적 순서로 계산되도록 하기 위해, 상위적 정렬 메커니즘을 사용하여 네트워크가 확산 과정의 시간적 및 구조적 제약 조건을 준수할 수 있도록 한다.
• 노드 특징과 간선 정보를 Topo-LSTM의 메시지 전달 메커니즘에 통합하여 표현 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 확산 확산 구조를 동적 DAG로 전체적으로 모델링할 경우, 순차적 또는 부분 그래프 기반 모델에 비해 정확도가 향상되는가?
• RQ2 Topo-LSTM가 확산 구조의 계층적 및 인과적 종속성을 포착하는 능력이 실제 확산 예측 작업 성능에 어떤 영향을 미치는가?
• RQ3 MAP 및 Hits@K 지표 기준으로 기존 최신 기술인 Embedded-IC, IC-SB, DeepCas에 비해 제안된 모델이 어느 정도 뛰어나게 성능을 내는가?
• RQ4 은닉 표현의 차원 수와 관측된 확산의 길이에 따라 Topo-LSTM의 성능은 얼마나 민감한가?
• RQ5 다양한 확산 길이와 네트워크 특성을 가진 데이터셋 간에 모델의 일반화 능력은 얼마나 우수한가?

주요 결과

• 모든 평가된 데이터셋에서 기존 최고 성능 기준 모델 대비 평균 평균 정밀도(MAP) 기준 20.1%~56.6% 향상되어 뚜렷한 성능 향상을 입증한다.
• Digg와 Memes에서 Topo-LSTM은 최고의 기준 모델 대비 Hits@K 지표 기준 2.7%~42.3% 향상되어 상위 K개 예측에서 뛰어난 성능을 보인다.
• Twitter에서는 은닉 차원 수가 256에 도달할 무렵 수렴하는 반면, Memes와 Digg에서는 512까지 성능 향상이 계속되어 데이터 크기에 비례한 확장성이 있음을 시사한다.
• Digg와 Memes에서는 확산 길이가 길어질수록 정확도가 감소하지만, Twitter에서는 그렇지 않아, Twitter 확산의 경로 다양성이 더 높아 장기 시퀀스 예측의 예측 불가능성을 높임을 시사한다.
• 모든 데이터셋에서 학습 시간이 3시간 이내이며, Digg에서는 데이터 전처리가 10분 이내, 모델 학습이 140분 이내로 완료된다.
• Embedded-IC는 파라미터 수가 적고 과적합에 강건하여 Twitter에서 Hits@{50,100}에서 더 나은 성능을 보였지만, 다른 데이터셋에서는 성능이 열 劣하므로 더 풍부한 구조적 모델링의 필요성을 강조한다.