[論文レビュー] Recurrent Neural Networks in the Eye of Differential Equations

Murphy Yuezhen Niu, Lior Horesh+1 more|arXiv (Cornell University)|Apr 29, 2019

Model Reduction and Neural Networks参考文献 8被引用数 23

ひとこと要約

本稿は、再帰的ニューラルネットワーク（RNN）と常微分方程式（ODE）の数値積分法の間の明確な数学的対応関係を確立し、特にRNNアーキテクチャをルンゲ＝クッタ法に結びつける。ODERNNと呼ばれるRNNを導入し、ODE統合段階と次数でパrameter化することで、安定でメモリ効率の良いRNNの体系的設計を可能にし、メモリ長に伴うパラメータ数を多項式から線形に削減する例（QUNN）を提示した。

ABSTRACT

To understand the fundamental trade-offs between training stability, temporal dynamics and architectural complexity of recurrent neural networks~(RNNs), we directly analyze RNN architectures using numerical methods of ordinary differential equations~(ODEs). We define a general family of RNNs--the ODERNNs--by relating the composition rules of RNNs to integration methods of ODEs at discrete time steps. We show that the degree of RNN's functional nonlinearity $n$ and the range of its temporal memory $t$ can be mapped to the corresponding stage of Runge-Kutta recursion and the order of time-derivative of the ODEs. We prove that popular RNN architectures, such as LSTM and URNN, fit into different orders of $n$-$t$-ODERNNs. This exact correspondence between RNN and ODE helps us to establish the sufficient conditions for RNN training stability and facilitates more flexible top-down designs of new RNN architectures using large varieties of toolboxes from numerical integration of ODEs. We provide such an example: Quantum-inspired Universal computing Neural Network~(QUNN), which reduces the required number of training parameters from polynomial in both data length and temporal memory length to only linear in temporal memory length.

研究の動機と目的

• RNNにおける学習安定性、時系列ダイナミクス、アーキテクチャの複雑さの間の根本的トレードオフを解明すること。
• RNNの合成則と数値的ODE積分法（特にルンゲ＝クッタスキーム）との間の厳密なマッピングを確立すること。
• 高度な数値積分ツールボックスを用いた新しいRNNアーキテクチャの設計の理論的基盤を提供すること。
• ODE理論から導かれる安定性条件が、RNNに対しても直接適用可能であることを示すこと。
• 時系列メモリ長に伴うパラメータ依存性を多項式から線形に削減する、新規アーキテクチャ（QUNN）の開発

提案手法

• RNNの再帰則を離散的ODE積分法にマッピングすることで、一般化されたRNNの族（ODERNNと呼ぶ）を定義する。
• RNNにおける関数的非線形度 $ n $ と時系列的メモリ範囲 $ t $ を、ルンゲ＝クッタ法の段階と次数にマッピングする。
• 標準的なRNN（LSTMやURNNなど）が、特定の $ n $–$ t $–ODERNN のクラスに属することを証明する。
• 重み行列の固有値スペクトル分析とODEの安定性理論に基づき、RNN学習安定性の十分条件を導出する。
• ODE統合フレームワークを活用して、量子インスパイアド・ユニバーサルコンピューティングニューラルネットワーク（QUNN）と呼ばれる新規アーキテクチャを構築する。
• ODE-RNN対応関係を活用し、非線形性とメモリ深さを制御可能なトップダウン設計によるRNNの設計を可能にする。

実験結果

リサーチクエスチョン

• RQ1 RNNアーキテクチャを、ODEの数値積分法と体系的に関連付ける方法は何か？
• RQ2 RNNの関数的非線形度とメモリ深さが、ルンゲ＝クッタ法の段階と次数とどのように正確に対応するか？
• RQ3 ODE理論から導かれる安定性条件を、RNNの学習安定性を保証するために転用できるか？
• RQ4 ODE-RNN対応関係を活用することで、パラメータ数を削減したより効率的なRNNアーキテクチャをどのように設計できるか？
• RQ5 既存のODE用数値積分ツールボックスを、新規で安定なRNNを設計するためにどの程度活用できるか？

主な発見

• 本稿は、RNNアーキテクチャとルンゲ＝クッタ積分法との間の一対一対応関係を確立し、積分法の段階が関数的非線形度 $ n $ に対応し、次数が時系列的メモリ深さ $ t $ に対応することを示した。
• LSTMやURNNが特定の $ n $–$ t $–ODERNN クラスに属することを示し、それらのダイナミクスを統一的な枠組みで理解する基盤を提供した。
• 重み行列のスペクトル解析とODEの安定性理論に基づき、RNN学習安定性の十分条件が導出された。これはODEソルバーにおける安定性と類似している。
• ODE-RNN対応関係を活用することで、適応的または高次積分法を含む、高度なODE積分技術を用いた新規アーキテクチャの設計が可能になった。
• 提案されたQUNNアーキテクチャは、時系列メモリ長に伴うパラメータ数のスケーリングを線形に抑え、理論的分析により多項式から線形に削減されたことが示された。
• 理論的枠組みは一般性を持ち、ODE統合手法を用いて設計された任意のRNNに適用可能であり、将来的なアーキテクチャ設計の広範な基盤を提供する。