[論文レビュー] Pulse-Driven Neural Architecture: Learnable Oscillatory Dynamics for Robust Continuous-Time Sequence Processing

Paras Sharma|arXiv (Cornell University)|Feb 25, 2026

Neural Networks and Reservoir Computing被引用数 0

ひとこと要約

PDNA は閉形式の連続時間ネットワークに学習可能な振動パルスと自己注意を付加し、連続時間系列処理の時間的ギャップに対するロバスト性を向上させる。sMNIST で大きなマルチギャップ利得を示す。

ABSTRACT

We introduce PDNA (Pulse-Driven Neural Architecture), a method for augmenting continuous-time recurrent networks with learnable oscillatory dynamics that maintain internal state evolution independently of external input. Built on Closed-form Continuous-time (CfC) networks, PDNA adds two components: (1) a pulse module that generates structured oscillations $A \cdot \sin(ωt + φ(h))$ with learnable frequencies and state-dependent phase, and (2) a self-attend module that applies recurrent self-attention to the hidden state. Through a controlled ablation study on sequential MNIST (sMNIST) with five random seeds, we evaluate gap robustness -- the ability to maintain performance when portions of the input sequence are removed at test time. Our key finding is that structured oscillatory dynamics significantly improve robustness to input interruptions: the self-attend variant achieves a statistically significant 2.78 percentage point multi-gap advantage over baseline ($p = 0.041$), while the pulse variant shows a 4.62 pp advantage with large effect size (Cohen's $d = 0.87$). A noise control (random perturbation of equal magnitude) provides no benefit, confirming that the advantage is structural rather than merely dynamic. These results provide evidence that continuous-time models can benefit from biologically-inspired internal oscillatory mechanisms for temporal robustness.

研究の動機と目的

• 連続時間系列モデルにおける欠損または中断入力へのロバスト性を促す。
• CfC ネットワークに構造化振動と自己注意を追加する生物学的にインスパイアされた拡張として PDNA を導入する。
• 新規のギャップ評価プロトコルを用いて sMNIST でギャップ耐性を体系的に評価する。
• ランダムノイズを超えた振動の構造的利点を示すアブレーション証拠を提供する。

提案手法

• BaseCfC バックボーンは閉形式の連続時間ダイナミクスを提供する。
• パルスモジュールは学習可能な各次元の A および ω と、状態依存の位相 φ(h) を用いて構造化された振動 A·sin(ω t + φ(h)) を追加する。
• 自己注意モジュールは学習可能なゲート β を持つ W_self·σ(h) による再帰的自己注意を適用する。
• PDNA はパルスと自己注意を CfC 状態への加法的残差として組み合わせ、エンドツーエンドで訓練する。
• アブレーション変種は各成分を分離して寄与を評価する。
• ギャップ評価プロトコルは、テスト時に入力の 0–30% が削除される場合の性能をテストし、マルチギャップ設定を含む。

Figure 2 : Accuracy under increasing gap severity on sMNIST (5 seeds, mean $\pm$ std bands). Pulse-augmented variants (C, E) degrade more gracefully than baseline, particularly on the multi-gap condition where scattered interruptions test recovery ability.

実験結果

リサーチクエスチョン

• RQ1 構造化振動ダイナミクスの導入は、連続時間系列モデルの入力ギャップに対する時間的ロバスト性を向上させるか。
• RQ2 パルスと自己注意モジュールは、ギャップ耐性に対して個別および共同でどのように寄与するか。
• RQ3 観測されたロバスト性は構造化振動によるものか、それともギャップ中の任意の非ゼロダイナミクスが原因か。
• RQ4 パルスで学習されるパラメータ（周波数、振幅、位相）は何か、どのように振る舞うか。
• RQ5 PDNA は標準的な（ギャップなしの）性能と計算・リソースオーバーヘッドにどのような影響を与えるか。

主な発見

Variant	sMNIST (test accuracy %)	Gap 0%	Gap 5%	Gap 15%	Gap 30%	Multi-gap Accuracy	Degradation (%)
A. Baseline CfC	97.82 ±0.12	97.82	94.88	48.35	28.51	88.24	69.31 ± 5.02
B. CfC + Noise	97.78 ±0.20	97.78	94.60	49.56	29.78	88.01	68.00 ± 4.78
C. CfC + Pulse	97.96 ±0.14	97.96	95.82	48.27	29.58	92.86	68.38 ± 3.57
D. CfC + SelfAttend	97.89 ±0.21	97.89	95.49	52.24	28.46	91.02	69.43 ± 2.17
E. Full PDNA	97.93 ±0.16	97.93	95.28	49.43	29.71	91.96	68.21 ± 3.05

• 構造化振動ダイナミクスは、ベースライン CfC およびランダムノイズコントロールと比較してギャップ耐性を大幅に向上させる。
• マルチギャップ評価ではパルス変種が 92.86% の精度を達成、ベースラインの 88.24%（Δ=+4.62 pp、Cohen’s d≈0.87）を上回る。
• 自己注意変種は 91.02% のマルチギャップ精度に到達し、ベースラインに対して統計的有意性を示す（p=0.041, d≈1.33）。
• ノイズ摂動は利益をもたらさず、ギャップ中における非ゼロダイナミクスではなく構造的な利点であることを支持する（ギャップ-5%: ノイズより +1.22 pp、p=0.013）。
• 学習されたパルスパラメータは α が 0.01 から約 0.66 へ成長し、周波数は二桁のオーダー幅で変動することを示し、振動ダイナミクスの活用が活発であることを示す（ω mean≈2.17, median≈1.02）。
• フル PDNA はマルチギャップ精度 91.96%、分散は約 ±1.54% 程度。
• 計算オーバーヘッドは控えめ（パラメータ約 38% 増、実行時間約 5% 増） 。

(a) Learned frequency distribution $\omega$ .