[論文レビュー] Neural Spatio-Temporal Point Processes

Ricky T. Q. Chen, Brandon Amos+1 more|arXiv (Cornell University)|Nov 9, 2020

Time Series Analysis and Forecasting参考文献 63被引用数 5

ひとこと要約

この論文では、Neural ODE と二つの新しいアーキテクチャ—Jump および Attentive Continuous-time Normalizing Flows—を活用して、正確な尤度計算を可能にする、複雑で高精度な時空間イベントデータを扱うための新規フレームワークであるNeural Spatio-Temporal Point Processes (Neural STPPs) を提案する。この手法は、イベント履歴に条件づけられた柔軟で連続的な条件付き分布を用いて、時間的および空間的依存関係を同時にモデル化することで、多様な分野で最先端の性能を達成する。

ABSTRACT

We propose a new class of parameterizations for spatio-temporal point processes which leverage Neural ODEs as a computational method and enable flexible, high-fidelity models of discrete events that are localized in continuous time and space. Central to our approach is a combination of continuous-time neural networks with two novel neural architectures, i.e., Jump and Attentive Continuous-time Normalizing Flows. This approach allows us to learn complex distributions for both the spatial and temporal domain and to condition non-trivially on the observed event history. We validate our models on data sets from a wide variety of contexts such as seismology, epidemiology, urban mobility, and neuroscience.

研究の動機と目的

• 連続的な時間と空間における複雑な依存関係を捉えることのできる、柔軟で高精度な時空間点過程のモデリングフレームワークを開発すること。
• 従来の STPP が近似や閉形式解、離散的な時間・空間に依存するという限界を克服し、正確な尤度計算を可能にすること。
• ニューラルネットワークと連続時刻正規化流れ、およびイベント履歴への条件づけを統合することで、空間的・時間的ダイナミクスを表現力豊かかつ取り扱いやすい形でモデル化すること。
• 多様な科学的分野における時空間イベントモデリングのための新規ベンチマークデータセットを構築すること。
• 地震学、疫学、都市移動、神経科学からの実世界データにおいて、優れた性能を示すこと。

提案手法

• この手法は、時空間点過程における条件付き強度関数の連続的時間的変化をモデル化するための計算エンジンとして Neural ODE を採用する。
• 二つの新規なニューラルアーキテクチャを導入する：Jump CNF は、イベント履歴に条件づけられた不連続なジャンプを用いて即時の分布シフトをモデル化し、Attentive CNF は自己注意機構を用いて過去のすべてのイベントに動的に注目する。
• フレームワークは、時間経過に伴い滑らかに変化し、イベント履歴に条件づけられた柔軟で連続的な空間分布をモデル化するための Continuous Normalizing Flows (CNFs) を使用する。
• 変数変換の公式を用いて、尤度の正確な計算が可能であり、モンテカルロ近似を用いないトレーニングが可能になる。
• Neural ODE ソルバーを介したバックプロパゲーションを用いて、エンドツーエンドで訓練可能であり、複雑な非マルコフ的依存関係の勾配ベース最適化が可能になる。
• 連続的なマークをサポートし、離散化を伴わずに複雑でマルチモーダルな空間的イベント伝播をモデル化できる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークと連続時刻流れを用いて、正確な尤度計算を可能にする高精度な時空間イベント過程をモデル化できるか？
• RQ2 ジャンプベースとアテンションベースの条件づけ機構は、イベント系列における履歴依存ダイナミクスをどのように比較して捉えられるか？
• RQ3 Neural STPP は、Neural Hawkes Processes や Neural Jump SDE よりも、複雑な実世界の時空間データにおいて優れた性能を示せるか？
• RQ4 離散的またはパラメトリックな近似と比較して、連続的な空間分布をモデル化することで、性能がどの程度向上するか？
• RQ5 統一されたアーキテクチャで、地震学、疫学、神経科学など多様な分野に一般化できるか？

主な発見

• Attentive CNF モデルは、すべてのテストデータセットで最高の対数尤度を達成し、Time-varying CNF および Neural Jump SDE のベースラインを上回った。
• Covid-19 データセットでは、感染症に適した強力なベースラインである自己励起型ハーケス過程ですら、空間的尤度で Neural STPP が顕著に優れていた。
• Jump および Attentive CNF モデルは、Time-varying CNF よりも顕著に高い対数尤度を達成しており、履歴依存モデリングが性能向上に寄与していることが示された。
• Attentive CNF は、履歴を隠れ状態に圧縮するのではなく、過去のすべてのイベントに注目できるため、Jump CNF よりも優れた時間的対数尤度を達成した。
• Neural Jump SDE と同一の時間的アーキテクチャを使用しても、空間的および時間的尤度の両面で、既存手法よりも統計的に有意な改善を達成した。
• Attentive CNF は、類似した性能を示しながらも、より効率的なアテンション機構のおかげで、Jump CNF よりも高速な推論時間を達成した。