[논문 리뷰] Bridging Discrete Marks and Continuous Dynamics: Dual-Path Cross-Interaction for Marked Temporal Point Processes

Yuxiang Liu, Qiao Liu외 4명|arXiv (Cornell University)|2026. 03. 12.

Generative Adversarial Networks and Image Synthesis인용 수 0

한 줄 요약

NEXTPP는 self-attention과 Neural ODE를 사용하여 이산 이벤트 마크를 연속 시간 다이나믹스와 함께 공동으로 모델링하는 이중 채널 프레임워크를 도입하고, 교차 주의를 통해 융합하여 최첨단 방법보다 더 정확하게 마킹된 시간점 프로세스를 예측합니다.

ABSTRACT

Predicting irregularly spaced event sequences with discrete marks poses significant challenges due to the complex, asynchronous dependencies embedded within continuous-time data streams.Existing sequential approaches capture dependencies among event tokens but ignore the continuous evolution between events, while Neural Ordinary Differential Equation (Neural ODE) methods model smooth dynamics yet fail to account for how event types influence future timing.To overcome these limitations, we propose NEXTPP, a dual-channel framework that unifies discrete and continuous representations via Event-granular Neural Evolution with Cross-Interaction for Marked Temporal Point Processes. Specifically, NEXTPP encodes discrete event marks via a self-attention mechanism, simultaneously evolving a latent continuous-time state using a Neural ODE. These parallel streams are then fused through a crossattention module to enable explicit bidirectional interaction between continuous and discrete representations. The fused representations drive the conditional intensity function of the neural Hawkes process, while an iterative thinning sampler is employed to generate future events. Extensive evaluations on five real-world datasets demonstrate that NEXTPP consistently outperforms state-of-the-art models. The source code can be found at https://github.com/AONE-NLP/NEXTPP.

연구 동기 및 목표

• 연속 시간에서 이산 마크를 가진 불규칙하게 간격이 있는 이벤트를 모델링하는 도전과제를 제시한다.
• 마크와 타이밍 간의 양방향 영향을 포착하기 위한 통합된 이중 채널 아키텍처를 제안한다.
• Hawkes 프로세스 구조를 보존하면서도 유연한 연속 시간 다이나믹스와 이산 의존성을 가능하게 한다.
• 실세계 데이터셋에서 우수한 예측 성능과 해석가능성을 보여준다.

제안 방법

• 이벤트 마크를 self-attention으로 인코딩하여 이벤트 유형 간의 이산 의존성을 포착한다.
• 각 이벤트마다 Neural ODE를 사용해 잠재 연속 시간 상태를 진화시켜 이벤트 간의 미세한 다이나크를 모델링한다.
• 교차 주의 모듈로 이산 스트림과 연속 스트림을 융합하여 양방향 상호작용(Event-granularity Evolution and Cross-Interaction)을 가능하게 한다.
• 조건부 강도(conditional intensity)를 마크별로 학습 가능한 활성화를 갖는 신경 Hawkes 프로세스로 정의하여 양의 강도를 보장한다.
• 잠재 상태에 대한 변분 KL 추론과 함께 최대 우도, 그리고 잠재 궤적의 매끄러움을 보존하기 위한 연속성 손실의 조합으로 학습한다.
• 학습된 강도에서 미래의 마킹된 이벤트를 생성하기 위해 반복적인 thinning 샘플러를 사용한다.

Figure 1: Seismic timeline for the August 30, 2009 sequence, showing 18 events within 12.3 s. A magnitude 5.2 mainshock at 11.56s marks the transition from foreshocks to aftershocks, illustrating the classic three-phase seismic cycle.

실험 결과

연구 질문

• RQ1 이중 채널 아키텍처가 마킹된 시간점 프로세스를 위해 이산 이벤트 마크 모델링과 연속 시간 다이나믹스를 효과적으로 통합할 수 있는가?
• RQ2 이산 스트림과 연속 스트림 간의 교차 주의가 타임스탬프 정확도와 마크 예측 모두를 향상시키는가?
• RQ3 이벤트-세분화(사건별 대 코스) 진화가 밀도 추정 및 예측 성능에 어떤 영향을 미치는가?

주요 결과

• NEXTPP는 다섯 개의 실제 데이터셋에서 다음 이벤트 타임스탬프에 대한 RMSE를 최첨단 baselines보다 더 낮게 달성한다.
• NEXTPP는 여러 데이터셋에서 가장 높은 로그-가능도(log-likelihood)를 달성하여 경험적 이벤트 분포에 대한 우수한 적합도를 나타낸다.
• Neural ODE에서 유도된 연속 상태와 이산 이벤트 표현 간의 교차 주의가 타이밍과 마크 예측 모두를 크게 개선한다는 것을 제거 연구(ablation studies)에서 보인다.
• Neural ODE를 통한 연속 시간 다이나믹스는 시계열 지표가 경쟁적일 때에도 가능도에서 GRU/LSTM과 같은 순환 대체보다 이점을 제공한다.
• 데이터가 부족한 환경에서도 NEXTPP는 일관되게 더 높은 로그-가능도와 더 낮은 오차율을 나타내어 제한된 학습 데이터에 대한 강건함을 보여준다.

Figure 2: The overall framework NEXTPP. Left(SA): Discrete event sequence processing through embedding and self-attention layers. Right(NE): Continuous representation via latent space. X-Interaction(CA): Continuous-Discrete Interaction.