[論文レビュー] Memory and Information Processing in Recurrent Neural Networks

Alireza Goudarzi, Sarah Marzen+4 more|arXiv (Cornell University)|Apr 23, 2016

Neural Networks and Reservoir Computing参考文献 2被引用数 10

ひとこと要約

本稿では、再帰的ニューラルネットワーク（RNN）、特にリザボアコンピューティングシステムにおけるメモリ容量とタスク性能を正確に解析するフレームワークを提示する。このフレームワークは、ネットワーク構造と入力相関を情報保持性と一般化性に結びつける。入力が相関を持つ場合、メモリ容量はNを超えることが示され、規則的なネットワーク構造は容量を最大化するが壊れやすく、不規則なネットワークは容量を犠牲にしてでも耐障害性を提供する。

ABSTRACT

Recurrent neural networks (RNN) are simple dynamical systems whose computational power has been attributed to their short-term memory. Short-term memory of RNNs has been previously studied analytically only for the case of orthogonal networks, and only under annealed approximation, and uncorrelated input. Here for the first time, we present an exact solution to the memory capacity and the task-solving performance as a function of the structure of a given network instance, enabling direct determination of the function--structure relation in RNNs. We calculate the memory capacity for arbitrary networks with exponentially correlated input and further related it to the performance of the system on signal processing tasks in a supervised learning setup. We compute the expected error and the worst-case error bound as a function of the spectra of the network and the correlation structure of its inputs and outputs. Our results give an explanation for learning and generalization of task solving using short-term memory, which is crucial for building alternative computer architectures using physical phenomena based on the short-term memory principle.

研究の動機と目的

• アンネールド近似を超えて、ネットワーク構造とRNNにおけるメモリ容量の間の直接的な数学的リンクを確立すること。
• 直交または相関のない入力の仮定を超えて、任意のネットワークと相関のある入力に対するメモリ解析を拡張すること。
• 教師あり学習の設定におけるタスク解決性能に直接的にメモリ容量を結びつけること。
• 特にスパarsityとランダムネスの観点から、ネットワークトポロジーがリザボアコンピューティングにおけるメモリと一般化に与える影響を定量化すること。
• ネットワークスペクトルと入出力相関構造に基づいて、期待誤差と最悪ケース誤差の境界を導出すること。

提案手法

• ネットワークの重み行列の固有値半径と入力自己相関関数を用いて、正確なメモリ容量の式を導出する。
• ネットワークダイナミクスをモデル化するための状態推移方程式 $ x_{t+1} = \boldsymbol{\Omega}x_t + \boldsymbol{\omega}u_t $ を用い、相互相関行列と自己相関行列を計算する。
• スペクトル分解とパワー・スペクトル密度表現を適用し、$ \mathbf{X}^\top\mathbf{X} $ と $ \mathbf{X}^\top\widehat{\mathbf{Y}} $ を $ \boldsymbol{\Omega}_+^{-1} $ と $ \boldsymbol{\Omega}_-^{-1} $ を用いて周波数領域で表現する。
• 正則化最小二乗法を用いてリーディング重み $ \boldsymbol{Psi} $ を計算し、Tikhonov正則化を導入して解の安定性を向上させる。
• 平均二乗誤差（MSE）を用いて性能を評価し、入出力相関関数とネットワーク固有値に基づいて誤差式を導出する。
• ネットワーク構造（リングからランダムグラフまで）と固有値半径 $ \lambda $ を系統的に変化させ、メモリ容量とタスク性能に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 入力相関が、相関のない場合を超えてRNNのメモリ容量に与える影響は何か？
• RQ2 RNNにおけるネットワーク構造（固有値半径、スパarsity、ランダムネス）とメモリ容量の正確な関係は何か？
• RQ3 RNNにおいて、自由度 $ N $ を超えてメモリ容量が超過する可能性はあるか？ どのような入力条件下でそれが発生するか？
• RQ4 ネットワーク構造が、NARMA10やMackey-Glass予測といった信号処理タスクにおける一般化性能に与える影響は何か？
• RQ5 ネットワークスペクトルと入力相関に基づいて、期待誤差と最悪ケース誤差の境界は、どのように関数として表されるか？

主な発見

• 指数的相関を持つ入力に対して、メモリ容量は $ N $ を超える。これは、入力信号の冗長性が、自由度が示唆するよりも長いシーケンスの記憶を可能にすることを示している。
• 入力相関が高くなるほど、$ N $ で正規化した総メモリ容量が増加し、構造的に入力が強い信号が情報保持性を向上させることを確認した。
• 規則的かつ決定論的なネットワークトポロジー（例：リング）は、最高のメモリ容量を達成するが、構造的摂動に対して極めて感受的である。
• ネットワークにわずかなランダムネスを導入することで、NARMA10およびMackey-Glassタスクにおける誤差が一時的に低下し、耐障害性の向上が示されたが、過剰な不規則性では性能が劣化した。
• 期待平均二乗誤差（MSE）は、サンプルサイズが増加するにつれて真の値に収束し、学習データからテストデータへの一般化能力の裏付けを説明した。
• 最悪ケース誤差境界は、重み行列のスペクトル的性質と入出力相関に基づいて導出され、任意のRNNの性能予測が可能になった。