[論文レビュー] Transformation of ReLU-based recurrent neural networks from discrete-time to continuous-time

Zahra Monfared, Daniel Durstewitz|arXiv (Cornell University)|Jul 1, 2020

Model Reduction and Neural Networks被引用数 8

ひとこと要約

本稿では、ReLUを用いた区分線形再帰的ニューラルネットワーク（PLRNN）を、離散時刻の再帰的写像から等価な連続時刻の常微分方程式（ODE）に変換するための数学的枠組みを提示する。さまざまな条件下—固有値が1に等しい場合や、サイクルから生じる複素固有値を含む—で3つの定理を証明することで、連続時刻のODE定式化が元の離散系のダイナミクスを保持することを確立し、滑らかな補間・外挿および理論的解析の向上を可能にするとともに、ダイナミクスの等価性を維持する。

ABSTRACT

Recurrent neural networks (RNN) as used in machine learning are commonly formulated in discrete time, i.e. as recursive maps. This brings a lot of advantages for training models on data, e.g. for the purpose of time series prediction or dynamical systems identification, as powerful and efficient inference algorithms exist for discrete time systems and numerical integration of differential equations is not necessary. On the other hand, mathematical analysis of dynamical systems inferred from data is often more convenient and enables additional insights if these are formulated in continuous time, i.e. as systems of ordinary (or partial) differential equations (ODE). Here we show how to perform such a translation from discrete to continuous time for a particular class of ReLU-based RNN. We prove three theorems on the mathematical equivalence between the discrete and continuous time formulations under a variety of conditions, and illustrate how to use our mathematical results on different machine learning and nonlinear dynamical systems examples.

研究の動機と目的

• 科学的モデリングにおける広く使われている離散時刻RNNと、連続時刻動的システムの理論的利点との間のギャップを埋めるため。
• 位相空間ダイナミクスを変更せずに、離散時刻のReLUベースのPLRNNを等価な連続時刻ODEに数学的に厳密に変換する手法を開発するため。
• 分岐解析、時間スケール分離、データポイント間の滑らかな補間を含む、推定された動的システムの改善された解析を可能にするため。
• 合成ベンチマークおよび実世界のfMRIデータを用いた応用を示し、忠実なダイナミクスの等価性を示すため。

提案手法

• 整数時刻における離散的更新則と一致する流れ場を構築することで、連続時刻ODEを導出する。
• ReLU活性化関数を用いた区分線形ダイナミクスを採用し、数学的取り扱いやすさとユニバーサル近似性を確保する。
• 可逆性およびスペクトル条件を満たす場合に、再帰行列を連続時刻生成子に変換するため、行列対数および固有値解析を適用する。
• 一般可逆行列に対しては定理1を、固有値が1に等しい場合に適応するため定理2を、サイクルから生じる複素固有値に対しては定理3を用いる。
• ODEの数値積分と複数の例における離散時刻軌道との比較を通じて、等価性を検証する。
• 連続時刻変換を用いて、fMRIスキャンなど不規則にサンプリングされたデータに対して高分解能の補間・外挿を可能にする。

実験結果

リサーチクエスチョン

• RQ1 離散時刻のReLUベースのRNNは、数学的に等価な連続時刻ODE系に変換可能か？
• RQ2 連続時刻ODEは、どのような条件下で元の離散時刻系のダイナミクスを保持するか？
• RQ3 長期間の依存関係をモデル化するために不可欠な固有値が1に等しい場合の処理は可能か？
• RQ4 本手法は、fMRI信号などの実世界の時系列データに対し、滑らかで高分解能の補間・外挿を可能にするか？
• RQ5 離散系がカオス的振る舞いまたは周期的ダイナミクスを示す場合でも、変換は有効か？

主な発見

• システム行列が可逆で、1に等しい固有値を持たない場合を含め、さまざまな条件下で変換が元の離散時刻RNNと数学的に等価であることが確認された。
• 長期間の依存関係をモデル化するために不可欠な固有値が1に等しい場合の処理も成功しており、加法問題の例でその有効性が示された。
• 数値シミュレーションにより、連続時刻ODE定式化が離散系で観察されたカオス的ダイナミクスを正確に再現することが確認された（図4を参照）。
• 人間のfMRIデータにおいて、連続時刻PLRNNは元の3秒のTRに比べ10倍の高分解能で滑らかで高分解能の補間を実現し、離散予測と一致しながら連続的な外挿を可能にした。
• 位相空間ダイナミクスが保持されるため、流れ場の可視化や時間スケール分離といった理論的解析が可能となり、これらは離散時刻では困難である。
• 20チャンネルと10の潜在状態を持つ多次元BOLD fMRI時系列に成功裏に適用され、実世界データへの応用可能性が示された。