[論文レビュー] Neural Jump Stochastic Differential Equations

Junteng Jia, Austin R. Benson|arXiv (Cornell University)|May 24, 2019

Model Reduction and Neural Networks参考文献 48被引用数 76

ひとこと要約

ニューラルジャンプ確率微分方程式（JSDEs）はハイブリッド系における連続潜在ダイナミクスと急激なイベント駆動ジャンプの両方を学習し、時間点過程における連続的流れと離散イベントのモデリングを可能にします。提案手法は Neural ODEs を確率的ジャンプで拡張し、さまざまな実世界データセットに適用されます。

ABSTRACT

Many time series are effectively generated by a combination of deterministic continuous flows along with discrete jumps sparked by stochastic events. However, we usually do not have the equation of motion describing the flows, or how they are affected by jumps. To this end, we introduce Neural Jump Stochastic Differential Equations that provide a data-driven approach to learn continuous and discrete dynamic behavior, i.e., hybrid systems that both flow and jump. Our approach extends the framework of Neural Ordinary Differential Equations with a stochastic process term that models discrete events. We then model temporal point processes with a piecewise-continuous latent trajectory, where the discontinuities are caused by stochastic events whose conditional intensity depends on the latent state. We demonstrate the predictive capabilities of our model on a range of synthetic and real-world marked point process datasets, including classical point processes (such as Hawkes processes), awards on Stack Overflow, medical records, and earthquake monitoring.

研究の動機と目的

• 連続的に進化するが確率的イベントによって妨げられるシステムを動機づけ、モデリングする。
• 連続的潜在ダイナミクスとジャンプイベントを神経網で共同学習するデータ駆動フレームワークを提案する。
• 離散および実数値イベント特徴を持つ古典的な点過程と実世界データセットでモデルを実証する。

提案手法

• システムを z(t) の潜在状態で表現し、Neural ODE ダイナミクス f(z(t), t; θ) によって連続流れを実現する。
• イベント到着を支配する強度 λ(z(t)) と、イベント時に潜在状態を更新するジャンプ関数 w(z(t), k(t), t; θ) を導入する。
• イベントタイプを p(k|z(t))（離散的タイプは確率、実数値特徴はガウス混合で表現）でモデリングする。
• 導関数法を離散性に適応させ、対数強度項と時間積分 λ(z(t)) を含む尤度目的関数で学習する。
• 潜在を c(t)（内部状態）と h(t)（イベントメモリ）で構築し、f, w, λ, p をニューラルネットワークでパラメータ化する。
• イベント時に導関算のアダプトした連続性を持つ跳躍条件を用いて、逆伝播を可能にする。

実験結果

リサーチクエスチョン

• RQ1 Neural JSDEs は古典的な点過程（ポアソン、指数・べき法則付き Hawkes、自己修正過程）の条件付き強度関数を正確に回復できるか。
• RQ2 社会・医療データセットにおける離散イベントタイプ予測の性能は、最先端モデルと比較してどうか。
• RQ3 Real-valued event features（例：地震の地点）を扱い、イベント属性の予測分布を提供できるか。

主な発見

ポアソン	Hawkes（E）	Hawkes（PL）	自己修正過程
Poisson	0.1	188.2	95.6	29.1
Hawkes（E）	0.3	3.5	155.4	29.1
Hawkes（PL）	0.1	128.5	9.8	29.1
自己修正過程	98.7	101.0	87.1	1.6
RNN	3.2	22.0	20.1	24.3
Neural JSDE	1.3	5.9	17.1	9.3

• Neural JSDEs は Poisson、Hawkes（Exponential）、Hawkes（Power-Law）、Self-Correcting の各プロセスに対して、学習した強度の平均絶対パーセンテージ誤差で RNN ベースラインおよび従来の点過程モデルを上回る。
• Stack Overflow および MIMIC2 データセットで、Neural JSDEs はベースラインと比較して離散イベントタイプ予測精度が競争力がある、あるいは上回る。
• 合成の実数特徴データ（イベント間隔など）および地震位置データに対して、Neural JSDEs はイベント特徴を正確に予測し、確率的埋め込みを出力する。
• モデルは継続的な流れとイベント駆動の跳躍が混在する解釈可能な潜在ダイナミクスを示し、離散情報と実数値イベント情報の両方を持つマークド点過程をモデリングできる。