[논문 리뷰] DeepCas: an End-to-end Predictor of Information Cascades

Cheng Li, Jiaqi Ma외 2명|arXiv (Cornell University)|2016. 11. 16.

Advanced Graph Neural Networks참고 문헌 41인용 수 39

한 줄 요약

DeepCas는 정보 확산 그래프의 구조적 패턴을 무작위 보행 경로를 통해 전역적 표현을 학습함으로써 소셜 네트워크 내 정보 확산의 미래 크기를 예측하는 엔드 투 엔드 딥 러닝 모델을 제안한다. 수작업으로 설계된 특징에 의존하지 않으며, 특징 기반, 노드 임베딩, 그래프 커널 방법보다 뛰어난 성능을 보인다. 모델은 구조적 패턴을 인코딩하기 위해 어텐션 메커니즘을 갖춘 GRU를 사용하여 커뮤니티 구조나 삼각형 수와 같은 핵심 네트워크 특성을 자동으로 포착한다.

ABSTRACT

Information cascades, effectively facilitated by most social network platforms, are recognized as a major factor in almost every social success and disaster in these networks. Can cascades be predicted? While many believe that they are inherently unpredictable, recent work has shown that some key properties of information cascades, such as size, growth, and shape, can be predicted by a machine learning algorithm that combines many features. These predictors all depend on a bag of hand-crafting features to represent the cascade network and the global network structure. Such features, always carefully and sometimes mysteriously designed, are not easy to extend or to generalize to a different platform or domain. Inspired by the recent successes of deep learning in multiple data mining tasks, we investigate whether an end-to-end deep learning approach could effectively predict the future size of cascades. Such a method automatically learns the representation of individual cascade graphs in the context of the global network structure, without hand-crafted features and heuristics. We find that node embeddings fall short of predictive power, and it is critical to learn the representation of a cascade graph as a whole. We present algorithms that learn the representation of cascade graphs in an end-to-end manner, which significantly improve the performance of cascade prediction over strong baselines that include feature based methods, node embedding methods, and graph kernel methods. Our results also provide interesting implications for cascade prediction in general.

연구 동기 및 목표

• 수작업으로 설계된 특징에 의존하지 않고 정보 확산의 미래 크기를 예측하기 위한 엔드 투 엔드 딥 러닝 프레임워크를 개발하는 것.
• 전체 그래프 수준의 표현 학습이 노드 수준의 임베딩이나 특징 공학에 비해 더 나은 예측 성능을 내는지 조사하는 것.
• 딥 러닝이 확산 그래프와 전체 네트워크 컨텍스트에서 예측 가능한 구조적 패턴을 자동으로 학습할 수 있는지 탐색하는 것.
• 확산 그래프에 대한 무작위 보행 기반 경로 샘플링 전략이 표현 전략으로서 효과적인지 평가하는 것.
• 딥 러닝의 해석 가능성과 일반화 능력에 대한 통찰을 제공하는 것.

제안 방법

• 각 확산 그래프를 다수의 무작위 보행을 통해 생성된 경로의 집합으로 표현하여 노드 식별자와 구조적 정보를 유지한다.
• 각 경로의 노드 시퀀스를 고밀도 벡터 표현으로 인코딩하기 위해 기반 기반 순환 신경망을 사용한다.
• 인코딩된 경로들에 어텐션 메커니즘을 적용하여 전체 확산 그래프의 통합적이고 맥락 인식형 표현으로 집계한다.
• 확산의 미래 크기를 예측하기 위해 회귀 손실을 사용하여 전체 모델을 엔드 투 엔드로 훈련한다.
• 다양한 확산 그래프를 기반으로 훈련하여 전역 네트워크 구조를 암묵적으로 활용함으로써 컬렉션 수준의 패턴을 학습할 수 있도록 한다.
• 엔드 투 엔드 학습 과정의 일부로 경로 샘플링 과정을 최적화하여 모델이 효과적인 경로 생성 전략을 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 러닝 모델이 전통적인 특징 기반 방법보다 정보 확산 크기를 더 잘 예측할 수 있는가?
• RQ2 확산 그래프의 전역적 표현이 노드 임베딩이나 서브그래프 수준의 특징보다 더 예측력이 높은가?
• RQ3 딥 러닝이 인간이 설계한 특징 없이도 커뮤니티 수, 삼각형 조밀도, 중심성과 같은 의미 있는 구조적 특징을 얼마나 잘 자동으로 학습할 수 있는가?
• RQ4 무작위 보행 전략의 선택이 예측 성능에 미치는 영향은 어떠하며, 이를 엔드 투 엔드로 학습할 수 있는가?
• RQ5 전체 그래프의 구조적 정보를 직접 입력하지 않더라도 모델이 전역 네트워크 특성(예: 차수 분포, 구조적 구멍 등)을 암묵적으로 포착할 수 있는가?

주요 결과

• DeepCas는 특징 기반 방법, 노드 임베딩 모델, 그래프 커널 방법을 포함한 강력한 베이스라인보다 정보 확산 크기 예측에서 뚜렷한 성능 향상을 보였다.
• 노드 임베딩만으로는 정확한 확산 예측이 불충분하며, 확산 그래프를 전체적으로 모델링할 필요성이 높아 보인다.
• 수작업 특징 공학 없이도 개방형 및 폐쇄형 삼각형 수, 커뮤니티 수, 간선 조밀도와 같은 중요한 구조적 특징을 모델이 자동으로 학습한다.
• 전체 네트워크 구조를 직접 입력하지 않더라도 엔드 투 엔드 훈련을 통해 전역 네트워크 패턴을 암묵적으로 포착한다.
• 다양한 무작위 보행 전략은 서로 다른 성능을 보이며, 모델은 예측 정확도를 향상시키는 최적의 경로 샘플링 패턴을 학습한다.
• 결과는 딥 러닝의 장점이 도메인 지식을 대체하는 데 있는 것이 아니라, 고차원 표현을 학습하여 전통적인 네트워크 개념의 예측력을 더 잘 포착하는 데 있음을 시사한다.