[論文レビュー] Understanding Recurrent Neural Networks Using Nonequilibrium Response Theory

Soon Hoe Lim|arXiv (Cornell University)|Jun 19, 2020

stochastic dynamics and bifurcation参考文献 91被引用数 7

ひとこと要約

この論文は統計力学における非平衡応答理論を用いて、連続時間確率的再帰的ニューラルネットワーク（SRNN）のボルテラ級数表現を導出する。これにより、出力が再帰的に定義された相関関数によって決定されることを明らかにする。主な貢献は、入力信号のテンソル的特徴と自然な基底の組み合わせとしての普遍的な「応答特徴」を同定することであり、固定された隠れ層重みを持つSRNNが再生核ヒルバート空間（RKHS）におけるカーネル機械として機能することを示している。

ABSTRACT

Recurrent neural networks (RNNs) are brain-inspired models widely used in machine learning for analyzing sequential data. The present work is a contribution towards a deeper understanding of how RNNs process input signals using the response theory from nonequilibrium statistical mechanics. For a class of continuous-time stochastic RNNs (SRNNs) driven by an input signal, we derive a Volterra type series representation for their output. This representation is interpretable and disentangles the input signal from the SRNN architecture. The kernels of the series are certain recursively defined correlation functions with respect to the unperturbed dynamics that completely determine the output. Exploiting connections of this representation and its implications to rough paths theory, we identify a universal feature -- the response feature, which turns out to be the signature of tensor product of the input signal and a natural support basis. In particular, we show that SRNNs, with only the weights in the readout layer optimized and the weights in the hidden layer kept fixed and not optimized, can be viewed as kernel machines operating on a reproducing kernel Hilbert space associated with the response feature.

研究の動機と目的

• 連続時間のSRNNが時間変化する入力にどのように応答するかを理解する理論的基盤を提供すること。
• RNNダイナミクスに関する根本的問いに答えること：出力が時間経過とともに入力にどのように応答するか、およびその応答を支配する普遍的なメカニズムが存在するか。
• SRNNをボルテラ級数およびパス・シグネチャ理論と結びつける厳密な数学的枠組みを確立すること。
• 固定された隠れ層重みを持つSRNNが、応答特徴空間上で動作するカーネル機械として解釈可能であることを示すこと。
• 確率的ダイナミクス、粗いパス理論、およびカーネル法の概念を統合し、RNNの解釈可能性を深めること。

提案手法

• 非平衡応答理論を用いて、非摂動ダイナミクスの相関関数から導かれるカーネルに分解するボルテラ型級数表現をSRNN出力に対して導出する。
• 入力信号と自然な補助基底のテンソル積として定義される「応答特徴」を導入し、システムの記憶能力および入力摂動への感受性を捉える。
• バナッハ空間上の微分積分学およびパス・シグネチャ理論を用いて、応答特徴を普遍的特徴マップとして形式化する。
• 隠れ層重みを固定し、出力層重みのみを最適化するSRNNが、応答特徴によって定義される再生核ヒルバート空間（RKHS）におけるカーネル機械と等価であることを確立する。
• グロワールの不等式およびリプシッツ連続性の議論を用いて、摂動下でのSRNNダイナミクスの安定性と収束性を厳密に証明する。
• 粗いパス理論との関係を活用し、不規則な入力信号に対しても表現が安定的かつ適切に定義されることを保証する。

実験結果

リサーチクエスチョン

• RQ1 連続時間の確率的再帰的ニューラルネットワークの出力は、時間変化する入力信号に対してどのように応答するか？
• RQ2 入力-出力応答を捉える、アーキテクチャに依存しない普遍的特徴が存在するか？
• RQ3 固定された隠れ層重みを持つSRNNはカーネル機械として解釈可能か？ もしそうなら、対応するカーネルは何か？
• RQ4 出力関数的は、入力信号およびネットワークダイナミクスの観点から、どのような数学的構造を持つか？
• RQ5 応答特徴は、非線形力学系の文脈においてパス・シグネチャおよびボルテラ級数表現とどのように関係するか？

主な発見

• 連続時間のSRNNの出力は、非摂動ダイナミクスの再帰的相関関数によって定義されるカーネルを持つボルテラ級数として表現可能である。
• 応答特徴（入力信号のシグネチャと自然基底の組み合わせ）は普遍的特徴マップとして機能し、SRNNの応答が特定の隠れ層アーキテクチャに依存しないことを保証する。
• 隠れ層重みを固定し、出力層重みのみを最適化するSRNNは、応答特徴をカーネルとする再生核ヒルバート空間（RKHS）上で動作するカーネル機械と等価である。
• 応答特徴は、入力信号の繰り返し伊藤積分と数学的に同等であり、SRNNが粗いパス理論と結びつき、不規則な入力に対してもロバストであることを保証する。
• ドリフト関数および出力層関数の小さな摂動に対しても出力関数的は安定しており、グロワールの不等式およびリプシッツ連続性の議論によって示された。
• 理論的枠組みにより、厳密で解釈可能かつ普遍的なSRNNダイナミクスの記述が可能となり、再帰的アーキテクチャの深い分析および体系的設計が可能になる。