[論文レビュー] Tractable Dendritic RNNs for Reconstructing Nonlinear Dynamical Systems

Manuel Brenner, Florian Heß+5 more|arXiv (Cornell University)|Jul 6, 2022

Model Reduction and Neural Networks被引用数 6

ひとこと要約

本稿では、非線形力学系をより高い精度かつ低次元で再構築できるように、線形スプライン基底展開を用いてpiecewise-linear RNNs (PLRNNs) を拡張する、取り扱い可能な dendritic RNNs を提案する。シナプスの計算原理を活用することで、固定点、周期軌道、安定性解析の解析的取り扱いを維持したまま、より少ないパラメータと次元で優れた再構築性能を達成し、標準的な PLRNN や他の手法よりもベンチマーク系で優れた性能を発揮する。

ABSTRACT

In many scientific disciplines, we are interested in inferring the nonlinear dynamical system underlying a set of observed time series, a challenging task in the face of chaotic behavior and noise. Previous deep learning approaches toward this goal often suffered from a lack of interpretability and tractability. In particular, the high-dimensional latent spaces often required for a faithful embedding, even when the underlying dynamics lives on a lower-dimensional manifold, can hamper theoretical analysis. Motivated by the emerging principles of dendritic computation, we augment a dynamically interpretable and mathematically tractable piecewise-linear (PL) recurrent neural network (RNN) by a linear spline basis expansion. We show that this approach retains all the theoretically appealing properties of the simple PLRNN, yet boosts its capacity for approximating arbitrary nonlinear dynamical systems in comparatively low dimensions. We employ two frameworks for training the system, one combining back-propagation-through-time (BPTT) with teacher forcing, and another based on fast and scalable variational inference. We show that the dendritically expanded PLRNN achieves better reconstructions with fewer parameters and dimensions on various dynamical systems benchmarks and compares favorably to other methods, while retaining a tractable and interpretable structure.

研究の動機と目的

• ノイズが混在し、高次元な時系列データから非線形力学系を再構築する課題に対処すること。
• 潜在空間次元を増加させることなく、数学的に取り扱いやすい PLRNN の表現力を向上させること。
• 深層学習アーキテクチャに、生物学的原則に基づく dendritic 計算を統合し、解釈可能性と性能を向上させること。
• 拡張モデルにおける固定点や周期的軌道といった動的性質の解析的計算を可能にすること。
• 従来の手法と比較して、より少ないパラメータと低次元の潜在空間で、改善された再構築精度を実現すること。

提案手法

• 各潜在ユニットごとに線形スプライン基底展開を追加し、ニューロンのdendritic分岐を模倣する、piecewise-linear RNN (PLRNN) の拡張。
• 各潜在ユニットの活性化を、異なるしきい値と重みを持つ複数の ReLU を用いたサブユニットの組み合わせとして表現し、区分線形近似を形成する。
• 各分岐に共有重みを持つ、より大きな通常の PLRNN としてモデルを再定式化し、解析的取り扱いを維持する。
• 2つの訓練フレームワークを採用：教師強制付きの back-propagation-through-time と、逐次的変分オートエノードバーラー (SVAE) を用いたスケーラブルな変分推論。
• 固定点、周期軌道、安定性特性が、拡張モデルにおいても解析的に計算可能であることを数学的証明により示す。
• 部分的に観測されたまたはノイズの混入した時系列に対処するため、遅延埋め込みと状態空間再構築技術を適用する。

実験結果

リサーチクエスチョン

• RQ1 RNN に類似した非線形前処理を導入することで、非線形力学系の再構築精度が顕著に向上するか？
• RQ2 表現力が向上したにもかかわらず、固定点や安定性といった動的性質の解析的取り扱いが維持されるか？
• RQ3 標準的な PLRNN や他のディープラーニングベースラインと比較して、より少ないパラメータと低次元の潜在空間で、より優れた再構築が達成できるか？
• RQ4 スプライン基底展開と PLRNN 構造の組み合わせは、標準的な RNN や SINDy に類似した手法と比較して、カオス的系の再構築において優れているか？
• RQ5 複雑で高次元の動的挙動の近似能力を向上させつつ、解釈可能性をどの程度維持できるか？

主な発見

• dendritic PLRNN は、Lorenz や Rössler 系のようなカオス的系を含む、ベンチマーク非線形力学系において、標準的な PLRNN や他のディープラーニングベースラインを上回る再構築性能を達成する。
• モデルは、はるかに少ないパラメータと低次元の潜在空間で複雑な動的挙動を再構築でき、優れたサンプル効率を示す。
• 固定点、周期的軌道、およびそれらの安定性の解析的計算が、拡張モデルにおいても可能であり、理論的アクセス性を維持している。
• 多項式的モデルで近似される指数的または三角関数的動的挙動を再構築する際、標準的な PLRNN よりも優れた性能を発揮する。
• 変分推論（SVAE）による訓練により、長時間またはノイズの混入した時系列においても、スケーラブルかつ効率的な学習が可能になる。
• 理論的解析により、重み行列のスペクトルノルムに制限を設けると、軌道が有界であることが証明され、安定な動的挙動が保証される。