[논문 리뷰] Modeling Event Propagation via Graph Biased Temporal Point Process

Weichang Wu, Huanxi Liu외 3명|arXiv (Cornell University)|2019. 08. 05.

Point processes and geometric inequalities참고 문헌 53인용 수 6

한 줄 요약

이 논문은 그래프 구조적 정보를 시간적 포인트 프로세스에 통합하여 이벤트 확산 모델링을 위한 새로운 모델인 그래프 편향 시간적 포인트 프로세스(GBTPP)를 제안한다. 직접적인 영향은 학습된 노드 임베딩을 통해, 간접적인 영향은 역사를 고려하는 어텐션을 통해 별도로 모델링함으로써, GBTPP는 실제 트윗 및 멤 에이전시 데이터셋에서 최첨단 기법들을 능가한다.

ABSTRACT

Temporal point process is widely used for sequential data modeling. In this paper, we focus on the problem of modeling sequential event propagation in graph, such as retweeting by social network users, news transmitting between websites, etc. Given a collection of event propagation sequences, conventional point process model consider only the event history, i.e. embed event history into a vector, not the latent graph structure. We propose a Graph Biased Temporal Point Process (GBTPP) leveraging the structural information from graph representation learning, where the direct influence between nodes and indirect influence from event history is modeled respectively. Moreover, the learned node embedding vector is also integrated into the embedded event history as side information. Experiments on a synthetic dataset and two real-world datasets show the efficacy of our model compared to conventional methods and state-of-the-art.

연구 동기 및 목표

• 기존 시간적 포인트 프로세스가 노드 간의 구조적 의존성을 忽시하는 한계를 해결하기 위해.
• 학습된 노드 임베딩을 구조적 사전 지식으로 활용하여 그래프 구조와 노드 간 근접도를 이벤트 시퀀스 모델링에 통합하기 위해.
• 이벤트 확산 동역학에서 직접적 영향(연결된 노드 간)과 간접적 영향(확산 역사에 기반)을 구분하기 위해.
• 통합된 프레임워크 내에서 구조적 정보와 순차적 정보를 통합함으로써 확산 노드 및 시간 예측 정확도를 향상시키기 위해.

제안 방법

• GBTPP는 다차원 하크스 프로세스를 사용하여 이벤트 확산을 모델링하며, 이벤트 마커는 방향성과 가중치가 있는 그래프의 노드에 대응한다.
• 연결된 노드 간의 직접적 영향은 학습 가능한 바이어스 항으로 모델링되며, 이는 이벤트 역사의 함수로 스케일링되고 사전 학습된 노드 임베딩에서 유도된다.
• 역사적 이벤트로부터의 간접적 영향은 과거 이벤트를 주시하는 순환 신경망을 통해 모델링되며, 노드 임베딩은 은닉 상태에서 보조 정보로 사용된다.
• 노드 임베딩은 그래프 표현 학습(예: node2vec 또는 유사 기법)을 통해 학습되며, 영향 추정을 안내하는 데 구조적 사전 지식으로 기능한다.
• 강도 함수는 직접적 영향(그래프 편향)과 간접적 영향(역사 의존)을 조합하여, 구조적 효과와 시간적 효과를 별도로 모델링할 수 있도록 한다.
• 관측된 이벤트 시퀀스에 대한 음의 로그우도 손실을 사용하여 엔드 투 엔드로 모델을 훈련시키며, 어텐션 메커니즘을 통해 관련성과 노드 근접도에 기반해 역사를 가중한다.

실험 결과

연구 질문

• RQ1 그래프 구조적 정보를 통합함으로써 시간적 포인트 프로세스의 이벤트 확산 예측 정확도를 향상시킬 수 있는가?
• RQ2 연결된 노드 간의 직접적 영향과 확산 역사를 통한 간접적 영향을 별도로 모델링하는 것이 모델 성능에 어떤 영향을 미치는가?
• RQ3 노드 임베딩을 보조 정보로 사용할 경우, 미래의 확산 노드 및 시간 예측 능력이 얼마나 향상되는가?
• RQ4 GBTPP 모델은 Higgs Twitter 및 MemeTracker와 같은 실제 세계의 이벤트 확산 데이터셋에서 최첨단 기법들을 능가하는가?

주요 결과

• GBTPP는 전통적인 파arametric 모델(예: 포아송 프로세스, 마르코프 체인)과 표준 시간적 포인트 프로세스(Hawkes Process, SCP)보다도 확산 노드 및 시간 예측 모두에서 뚜렷한 승리를 거두었다.
• 특히 실제 세계 데이터셋에서 최첨단 기법인 RMTPP보다도 더 뛰어난 성능을 기록하였으며, 명시적 그래프 편향과 구조적 보조 정보의 효과를 입증하였다.
• Top-K 정밀도 곡선은 GBTPP가 다음 확산 노드를 추천하는 데서 항상 높은 순위를 기록함을 보여주며, 추천 시스템에 대한 강력한 실용적 유용성을 시사한다.
• NRPP 역시 노드 임베딩을 사용하지만, GBTPP의 성능 향상은 단순히 임베딩 삽입 때문이 아니라, 직접적 영향과 간접적 영향을 별도로 모델링하는 아키텍처 혁신에서 기인한다.
• 합성 데이터셋에서는 GBTPP가 RMTPP와 유사한 성능을 보였지만, 실제 세계 데이터에서는 성능 격차가 커지며, 이는 모델이 실제 그래프 구조에 민감함을 확인한다.
• 제거 실험 결과, 그래프 편향 강도 항과 임베딩 보강된 역사 모델링이 모두 모델의 뛰어난 성능을 위한 핵심 요소임을 확인하였다.