[論文レビュー] Bridging Discrete Marks and Continuous Dynamics: Dual-Path Cross-Interaction for Marked Temporal Point Processes

Yuxiang Liu, Qiao Liu+4 more|arXiv (Cornell University)|Mar 12, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

NEXTPPは、自己注意とニューラルODEを用いた離散イベントのマークと連続時間ダイナミクスを同時にモデリングする二重チャネルフレームワークを導入し、クロスアテンションで統合して、最先端手法よりもマーク付き時系列点過程をより正確に予測します。

ABSTRACT

Predicting irregularly spaced event sequences with discrete marks poses significant challenges due to the complex, asynchronous dependencies embedded within continuous-time data streams.Existing sequential approaches capture dependencies among event tokens but ignore the continuous evolution between events, while Neural Ordinary Differential Equation (Neural ODE) methods model smooth dynamics yet fail to account for how event types influence future timing.To overcome these limitations, we propose NEXTPP, a dual-channel framework that unifies discrete and continuous representations via Event-granular Neural Evolution with Cross-Interaction for Marked Temporal Point Processes. Specifically, NEXTPP encodes discrete event marks via a self-attention mechanism, simultaneously evolving a latent continuous-time state using a Neural ODE. These parallel streams are then fused through a crossattention module to enable explicit bidirectional interaction between continuous and discrete representations. The fused representations drive the conditional intensity function of the neural Hawkes process, while an iterative thinning sampler is employed to generate future events. Extensive evaluations on five real-world datasets demonstrate that NEXTPP consistently outperforms state-of-the-art models. The source code can be found at https://github.com/AONE-NLP/NEXTPP.

研究の動機と目的

• 連続時間で不規則に間隔が空くイベントを離散マーク付きでモデリングする課題を動機づける。
• マークとタイミング間の双方向の影響を捉える統一的な二重チャネルアーキテクチャを提案する。
• hawkes過程の構造を保持しつつ、柔軟な連続時間ダイナミクスと離散依存性を可能にする。
• 実世界データセットで予測性能と解釈性の優越性を実証する。

提案手法

• イベントマークを自己注意でエンコードし、イベントタイプ間の離散的依存を捉える。
• Neural ODEを用いて各イベントの潜在的連続時間状態を進化させ、イベント間の細かなダイナミクスをモデル化する。
• 離散ストリームと連続ストリームをクロスアテンションモジュールで融合し、双方向相互作用（イベント粒度の進化とクロス相互作用）を可能にする。
• 条件付き强度を学習可能な活性化を持つニューラルhawkes過程として定義し、正の強度を保証する。
• 最大尤度と潜在状態の変分KL推論、潜在軌道の滑らかさを保持する連続性損失の組み合わせで学習する。
• 学習した強度から将来のマーク付きイベントを生成する反復的なシンセリングサンプラーを用いる。

Figure 1: Seismic timeline for the August 30, 2009 sequence, showing 18 events within 12.3 s. A magnitude 5.2 mainshock at 11.56s marks the transition from foreshocks to aftershocks, illustrating the classic three-phase seismic cycle.

実験結果

リサーチクエスチョン

• RQ1 二重チャネルアーキテクチャは、マーク付き時系列点過程の離散イベントマークモデリングと連続時間ダイナミクスを効果的に統一できるか。
• RQ2 離散ストリームと連続ストリーム間のクロスアテンションは、タイムスタンプの精度とマーク予測の両方を改善するか。
• RQ3 イベント粒度（個々のイベントごとか大局的な粒度）進化は、密度推定と予測性能にどのように影響するか。

主な発見

• NEXTPPは、実世界データセット5件において次イベントのタイムスタンプのRMSEを最先端ベースラインより低く達成した。
• NEXTPPは複数のデータセットで最良の対数尤度を達成し、実データ分布への適合度が優れていることを示す。
• ニューラルODE由来の連続状態と離離散イベント表現間のクロスアテンションは、 Ablation研究で示されるように、時系列の予測とマーク予測の両方を大幅に改善した。
• ニューラルODEを用いた連続時間ダイナミクスは、時間的指標が競合していても尤度の点でリカレント代替手段（GRU/LSTM）より有利であることを示す。
• データが乏しい状況でも、NEXTPPは一貫して対数尤度が高く誤差率が低く、限られた学習データに対する頑健性を示す。

Figure 2: The overall framework NEXTPP. Left(SA): Discrete event sequence processing through embedding and self-attention layers. Right(NE): Continuous representation via latent space. X-Interaction(CA): Continuous-Discrete Interaction.