[論文レビュー] Learning Input and Recurrent Weight Matrices in Echo State Networks

Hamid Palangi, Li Deng+1 more|arXiv (Cornell University)|Nov 13, 2013

Neural Networks and Reservoir Computing参考文献 15被引用数 9

ひとこと要約

本稿では、出力ユニットの線形性を活用することで、エコー状態ネットワーク（ESNs）における入力行列と再帰的重み行列の両方を学習する新規手法を提案する。これにより、再帰的誤差逆伝播法に代わる解析的勾配計算が可能となり、特に長い時間ステップにおいて、固定された行列を用いる従来のESNよりも優れた電話状態分類精度が得られる。

ABSTRACT

Echo State Networks (ESNs) are a special type of the temporally deep network model, the Recurrent Neural Network (RNN), where the recurrent matrix is carefully designed and both the recurrent and input matrices are fixed. An ESN uses the linearity of the activation function of the output units to simplify the learning of the output matrix. In this paper, we devise a special technique that take advantage of this linearity in the output units of an ESN, to learn the input and recurrent matrices. This has not been done in earlier ESNs due to their well known difficulty in learning those matrices. Compared to the technique of BackPropagation Through Time (BPTT) in learning general RNNs, our proposed method exploits linearity of activation function in the output units to formulate the relationships amongst the various matrices in an RNN. These relationships results in the gradient of the cost function having an analytical form and being more accurate. This would enable us to compute the gradients instead of obtaining them by recursion as in BPTT. Experimental results on phone state classification show that learning one or both the input and recurrent matrices in an ESN yields superior results compared to traditional ESNs that do not learn these matrices, especially when longer time steps are used.

研究の動機と目的

• 従来のESNが入力および再帰的重み行列を固定しているという制限を克服すること。これは、性能向上の可能性を有する。
• 出力行列以外のパラメータまで学習可能に拡張しつつ、ESNの計算的利点（凸最適化、並列学習など）を維持する学習手法を開発すること。
• ESNの出力ユニットの線形性を活用し、入力および再帰的重みに対する解析的勾配を導出することで、再帰的誤差逆伝播法の必要性を回避すること。
• これらの行列を学習することで、特に長い時間的依存関係を有する順序付きモデリングタスクにおいて性能が向上することを実証すること。

提案手法

• ESN出力ユニットの線形活性化を活用して、入力、再帰的、出力重み行列間の制約を定式化する。
• コスト関数に対する入力および再帰的重みの勾配について、解析的表現を導出し、再帰的近似に代わる正確な勾配計算を可能にする。
• 出力重みの学習にはリッジ回帰を用い、このフレームワークを拡張して入力および再帰的行列を同時に最適化する。この際、導出された解析的勾配を活用する。
• 時間ステップmにわたる時間的依存関係を組み込んだ、修正された最適化スキームに基づく学習プロセスを採用する。mは勾配計算が履歴に及ぶ範囲を制御する。
• 非固定行列への学習を拡張しても、ESNの凸的・線形構造を保つことで、BPTTが引き起こす勾配消失／爆発問題を回避する。
• 出力層の線形性を維持し、すべての学習可能パラメータに対して凸最適化を適用することで、ESNのコアな利点、即ち効率的かつバッチ並列学習を保持する。

実験結果

リサーチクエスチョン

• RQ1 入力および再帰的重み行列を、従来のESNが有する計算の簡便さと収束性を保ちつつ効果的に学習できるか。
• RQ2 入力および再帰的重みに対する解析的勾配計算は、標準RNNで用いられる再帰的誤差逆伝播法に比べ、より正確な学習を可能にするか。
• RQ3 より長い時間的依存関係（mを大きくすることで）を組み込むと、拡張されたESNの性能にどのように影響するか。
• RQ4 これらの行列を学習することで、固定行列を用いるESNと比較して、電話状態認識などの順序付きタスクにおける分類精度が向上するか。
• RQ5 より大きな隠れ層サイズやより複雑なタスクに適用した場合、提案手法はスケーラブルかつ有効であるか。

主な発見

• 入力および再帰的重み行列を学習することで、固定行列を用いる従来のESNと比較して、フレーム単位の電話状態分類精度が顕著に向上する。
• 30,000個の隠れユニットを用いた場合、m=3時間ステップで43.0%の誤差率を達成したのに対し、従来のESNでは53.3%であった。
• m=3のときm=1よりも誤差率が低下したため、より長い時間的文脈を組み込むことで性能が向上することが示された。
• 100個の隠れユニットでも、入力および再帰的行列を学習することで誤差率は従来のESNの75.5%から63.2%に低下した。
• 全隠れユニット数において性能向上が一貫して見られたが、特に高容量の状況で最大の改善が得られた。
• 線形性と凸性を保ちつつ、ESNにおける学習可能パラメータを拡張することで、順序付きタスクにおける一般化性能と精度が向上することが示唆された。