[論文レビュー] Nansde-net: A neural sde framework for generating time series with memory

Hiromu Ozai, Kei Nakagawa|arXiv (Cornell University)|Feb 9, 2026

Model Reduction and Neural Networks被引用数 0

ひとこと要約

NANSDE-Net は NN-kernel ARMA-type ノイズ（NA-noise）を導入し neural SDE に記憶を持たせ、Itô カルキュラスに適合した長期・短期の時系列生成を可能にし、synthetic および real データで fSDE-Net と対等以上の結果を示す。

ABSTRACT

Modeling time series with long- or short-memory characteristics is a fundamental challenge in many scientific and engineering domains. While fractional Brownian motion has been widely used as a noise source to capture such memory effects, its incompatibility with Itô calculus limits its applicability in neural stochastic differential equation~(SDE) frameworks. In this paper, we propose a novel class of noise, termed Neural Network-kernel ARMA-type noise~(NA-noise), which is an Itô-process-based alternative capable of capturing both long- and short-memory behaviors. The kernel function defining the noise structure is parameterized via neural networks and decomposed into a product form to preserve the Markov property. Based on this noise process, we develop NANSDE-Net, a generative model that extends Neural SDEs by incorporating NA-noise. We prove the theoretical existence and uniqueness of the solution under mild conditions and derive an efficient backpropagation scheme for training. Empirical results on both synthetic and real-world datasets demonstrate that NANSDE-Net matches or outperforms existing models, including fractional SDE-Net, in reproducing long- and short-memory features of the data, while maintaining computational tractability within the Itô calculus framework.

研究の動機と目的

• Brownian motion を超える記憶を考慮した神経 SDE に対する記憶対応ノ stochastic ノイズの必要性を説得する。
• Itô 構造を保ちつつ長期・短期記憶を捉える NN パラメータ化カーネルを用いた NA-noise を提案する。
• NANSDE-Net の存在・一意性と訓練可能な逆伝播を確立する。
• synthetic および real データセットで、SDE-Net および fSDE-Net のベースラインと比較した実証的性能を示す。

提案手法

• NA-noise を dZ(t) = -ell1(t)K(t) dt + dW(t), dK(t) = ell2(t) dW(t) と定義し、ell1 および ell2 をニューラルネットワークで表現する。
• Z(t) をマルコフ拡張付き SDE 系へ埋め込み可能とし、Itô 演算と Euler–Maruyama シミュレーションを可能にする。
• NANSDE-Net を NA-noise に driven される SDE として定式化: dX_t = {b(t,X_t) - ell1(t) sigma(t,X_t) K(t)} dt + sigma(t,X_t) dW_t, dK(t) = ell2(t) dW_t。
• 存在性/一意性の Lipschitz 条件と成長条件の下での理論的論考と、訓練のためのバックプロパゲーション手法を提供する。
• drift b、diffusion sigma、およびカーネル ell1, ell2 を tanh 活性化を持つ 2 層 MLP でパラメータ化する。
• 生成されたサンプルパスを通じて尤度風の目的関数を最大化することで訓練を行う。

実験結果

リサーチクエスチョン

• RQ1 NA-noise を内部に持つ Neural SDE は real time series に観測される長期・短期のいずれの記憶特性を再現できるか？
• RQ2 NANSDE-Net は memory（Hurst 指数）、周辺分布、自己相関構造の再現性において SDE-Net および fSDE-Net とどのように比べるか？
• RQ3 NANSDE-Net ジェネレータの解は一意で、Euler–Maruyama のような標準手法でシミュレーション可能か？
• RQ4 Markovian 拡張と訓練安定性に対する NN-kernel factorization ell(s,u)=ell1(s) ell2(u) の影響は？
• RQ5 synthetic なデータの高・低 Hurst 指数データに対して memory fidelity が改善されるか？

主な発見

データ	方法	Hurst 指数	マージナル分布	ACF	加重 ACF	R^2
fBm(H=0.2) Original	Original	0.2 (True value)	-	-	-	-
fBm(H=0.2) RNN	RNN	0.464 ± 0.111	0.615 ± 0.024	1.215	0.633	-1.086 ± 0.180
fBm(H=0.2) SDE	SDE	0.463 ± 0.132	1.058 ± 0.024	1.220	0.639	-0.121 ± 0.044
fBm(H=0.2) fSDE	fSDE	0.581 ± 0.144	1.518 ± 0.013	1.220	0.638	-0.017 ± 0.018
fBm(H=0.2) NANSDE	NANSDE	0.453 ± 0.133	1.094 ± 0.070	1.276	0.727	-0.109 ± 0.049
fBm(H=0.3) Original	Original	0.3 (True value)	-	-	-	-
fBm(H=0.3) RNN	RNN	0.463 ± 0.121	0.475 ± 0.024	1.217	0.666	-1.139 ± 0.168
fBm(H=0.3) SDE	SDE	0.489 ± 0.157	0.567 ± 0.199	1.995	1.279	-0.513 ± 0.237
fBm(H=0.3) fSDE	fSDE	0.581 ± 0.130	1.186 ± 0.069	1.429	0.845	-0.069 ± 0.037
fBm(H=0.3) NANSDE	NANSDE	0.422 ± 0.177	0.561 ± 0.191	1.995	1.415	-0.716 ± 0.320
SPX Original	Original	0.614	-	-	-	-
SPX RNN	RNN	0.471 ± 0.097	0.704 ± 0.011	2.717	1.340	-6.376 ± 0.605
SPX SDE	SDE	0.510 ± 0.117	0.204 ± 0.045	2.762	1.430	-2.362 ± 0.946
SPX fSDE	fSDE	0.591 ± 0.112	0.248 ± 0.043	2.716	1.343	-1.170 ± 0.293
SPX NANSDE	NANSDE	0.472 ± 0.115	0.202 ± 0.058	2.804	1.404	-1.481 ± 0.575
TPX Original	Original	0.396	-	-	-	-
TPX RNN	RNN	0.455 ± 0.098	0.327 ± 0.012	1.889	0.829	-1.524 ± 0.183
TPX SDE	SDE	0.451 ± 0.098	0.223 ± 0.024	1.900	0.842	-3.471 ± 0.832
TPX fSDE	fSDE	0.590 ± 0.137	0.261 ± 0.018	1.894	0.833	-1.053 ± 0.249
TPX NANSDE	NANSDE	0.396 ± 0.139	0.152 ± 0.038	2.018	0.972	-2.371 ± 0.653
SX5E Original	Original	0.328	-	-	-	-
SX5E RNN	RNN	0.468 ± 0.102	0.744 ± 0.011	2.479	1.269	-2.940 ± 0.277
SX5E SDE	SDE	0.464 ± 0.121	0.277 ± 0.042	2.609	1.343	-5.410 ± 1.291
SX5E fSDE	fSDE	0.575 ± 0.130	0.277 ± 0.128	2.893	1.514	-1.616 ± 0.435
SX5E NANSDE	NANSDE	0.449 ± 0.130	0.351 ± 0.168	3.018	1.717	-1.606 ± 0.582
NileMin Original	Original	0.973	-	-	-	-
NileMin RNN	RNN	0.477 ± 0.121	0.554 ± 0.040	1.482	0.948	-4.900 ± 0.702
NileMin SDE	SDE	0.455 ± 0.145	1.211 ± 0.102	1.527	0.997	-29.771 ± 8.093
NileMin fSDE	fSDE	0.646 ± 0.151	0.233 ± 0.051	1.511	0.967	-1.543 ± 0.410
NileMin NANSDE	NANSDE	0.952 ± 0.182	0.435 ± 0.192	2.938	2.463	-2.837 ± 3.714
ethernetTraffic Original	Original	0.750	-	-	-	-
ethernetTraffic RNN	RNN	0.442 ± 0.100	1.400 ± 0.009	1.646	1.124	-9.297 ± 0.398
ethernetTraffic SDE	SDE	0.668 ± 0.138	0.980 ± 0.043	3.902	2.562	-0.753 ± 0.320
ethernetTraffic fSDE	fSDE	0.761 ± 0.134	0.931 ± 0.218	3.485	2.577	-0.880 ± 0.508
ethernetTraffic NANSDE	NANSDE	0.677 ± 0.135	0.801 ± 0.037	3.224	1.827	-0.739 ± 0.148
NhemiTemp Original	Original	1.066	-	-	-	-
NhemiTemp RNN	RNN	0.463 ± 0.120	0.652 ± 0.023	2.069	1.343	-6.973 ± 0.614
NhemiTemp SDE	SDE	0.603 ± 0.075	0.172 ± 0.023	2.092	1.348	-2.290 ± 0.296
NhemiTemp fSDE	fSDE	0.599 ± 0.161	0.965 ± 0.187	2.575	1.890	-17.534 ± 6.263
NhemiTemp NANSDE	NANSDE	1.025 ± 0.235	0.455 ± 0.239	4.804	3.258	-1.677 ± 2.245

• NA-noise は Itô フレームワーク内で記憶を捕捉可能で、長期記憶データに対して fSDE-Net と同等かそれ以上の性能を示す。
• 複数の実データセット（例：SPX、NileMin、ethernetTraffic など）において marginal distributions で NANSDE-Net が競争力のあるまたは優れた結果を示す。
• 高い Hurst 指数 (H>0.5) のデータでは、NANSDE-Net は memory 関連指標および時系列特徴で fSDE-Net に匹敵するか上回る。
• 低い Hurst 指数 (H<0.5) のデータでは memory 再現性の点で他の neural SDE ベースラインより優れる場合が多いが、SDE-Net も一部ケースで良好な場合がある。
• 合成 fBm シナリオ全般において、NANSDE-Net は一般に基準と比べて Hurst-index の忠実度と分布特性で同等以上を達成するが、すべての指標で必ずしもベストとは限らない。
• memory を神経 SDE に導入する fBm ベース手法への実験的代替として、Itô 互換性を示す点での概念実証を提供する。