[論文レビュー] Distributed Sequence Memory of Multidimensional Inputs in Recurrent Networks

Adam S. Charles, Dong Yin+1 more|arXiv (Cornell University)|May 26, 2016

Neural Networks and Reservoir Computing参考文献 67被引用数 6

ひとこと要約

本稿は、スパarsity または統計的依存性という低次元構造を持つ多次元入力処理における線形エコー状態ネットワーク（ESN）の短期記憶（STM）容量に関する非漸近的バウンドを確立する。ネットワークサイズが情報レートに線形に、入力次元に多対数的に依存することを示し、ランダム行列理論を用いて構造的入力下での回復のロバスト性を証明する。

ABSTRACT

Recurrent neural networks (RNNs) have drawn interest from machine learning researchers because of their effectiveness at preserving past inputs for time-varying data processing tasks. To understand the success and limitations of RNNs, it is critical that we advance our analysis of their fundamental memory properties. We focus on echo state networks (ESNs), which are RNNs with simple memoryless nodes and random connectivity. In most existing analyses, the short-term memory (STM) capacity results conclude that the ESN network size must scale linearly with the input size for unstructured inputs. The main contribution of this paper is to provide general results characterizing the STM capacity for linear ESNs with multidimensional input streams when the inputs have common low-dimensional structure: sparsity in a basis or significant statistical dependence between inputs. In both cases, we show that the number of nodes in the network must scale linearly with the information rate and poly-logarithmically with the ambient input dimension. The analysis relies on advanced applications of random matrix theory and results in explicit non-asymptotic bounds on the recovery error. Taken together, this analysis provides a significant step forward in our understanding of the STM properties in RNNs.

研究の動機と目的

• 多次元入力における低次元構造が再帰的ニューラルネットワーク（RNN）の短期記憶（STM）容量に与える影響を理解すること。
• 先行研究では入力構造にかかわらずSTM容量が入力次元に線形にスケーリングするという限界を克服すること。
• 構造的入力ストリーム下での線形ESNにおける回復誤差の明示的・非漸近的バウンドを導出すること。
• 入力にスパarsityまたは統計的依存性が見られる場合、ネットワークサイズが全入力次元に比例する必要がないことを確立すること。
• 実世界の時間的構造データを扱うタスクにおけるRNNの有効性に対する理論的裏付けを提供すること。

提案手法

• ランダムでトレーニングされていない再帰的重みと恒等関数活性化関数を有する線形エコー状態ネットワーク（ESN）を分析する。
• ネットワークの過渡状態を過去の入力の線形投影としてモデル化し、システムのインパulse応答を用いて記憶を特徴付ける。
• ランダム行列理論の高度な道具を用いて、ネットワーク状態から過去の入力を回復する誤差のバウンドを導出する。
• 回復誤差項の尾部挙動を制御するため、Orliczノルムに基づく集中不等式を導入する。
• ネットワーク状態の投影から生じる確率変数の和をバウンドするため、Bernstein型不等式を用いる。
• 入力構造（スパarsityまたは低ランク依存性）、情報レート、ネットワークサイズに依存する非漸近的回復誤差バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 入力構造、特にスパarsityまたは統計的依存性が線形ESNの短期記憶容量にどのように影響を与えるか。
• RQ2 入力に低次元構造がある場合、入力次元に比例するスケーリングより小さいネットワークサイズで十分か。
• RQ3 構造的入力を処理するESNにおける回復誤差の明示的・非漸近的バウンドは何か。
• RQ4 ランダム行列理論は、高次元で構造的入力が与えられた場合の記憶性能のタイトなバウンドをどのように可能にするか。
• RQ5 制限等長性性質（RIP）は、ESNにおける過去の入力の安定回復を保証するためにどの程度活用可能か。

主な発見

• スパarsityまたは統計的依存性を持つ入力に対して、必要なネットワークサイズは情報レートに線形に、入力次元に多対数的に依存するが、入力次元に線形に依存しない。
• 導出された非漸近的バウンド下で、回復誤差は高い確率でバウンドされ、そのバウンドはネットワークサイズ、入力構造、情報レートに依存する。
• 式 $ M \geq c\beta\kappa R(N + L\mu_0^2)\log^2(LN) $ を満たす場合、回復誤差は制御可能であり、主要な誤差項は $ \mu_{k-1}^2 $ より小さくなる。これにより記憶の安定性が保証される。
• OrliczノルムとBernstein不等式の使用により、標準的なサブガウス型またはサブ指数型の尾部仮定よりも、回復誤差の集中バウンドをタイトに制御できる。
• 結果として、構造的入力は正確な記憶に必要なネットワークサイズを顕著に削減できることを示し、実世界の時間的データタスクにおけるESNの実用的効率性を裏付ける。
• 導出されたバウンドは明示的かつ非漸近的であり、動画や音声、神経記録などのスパarsityまたは相関のある入力を含むアプリケーションにおけるESN設計の明確な指針を提供する。