[論文レビュー] Short-term Memory of Deep RNN

Claudio Gallicchio|arXiv (Cornell University)|Feb 2, 2018

Neural Networks and Reservoir Computing参考文献 9被引用数 8

ひとこと要約

本研究は、リザボア計算フレームワークにおける深層再帰的ニューラルネットワーク（RNN）の短期記憶容量（MC）を調査し、訓練を受ける前から高層の層が自然に長い記憶期間を持つようになることを示している。制御された固有値半径を用いた訓練なしの深層RNNを用いて、層の深さが進むにつれてMCが段階的に向上することを明らかにした。ρ=0.9のとき、10番目の層でMCが50.1に達する。これは、層の積み重ねが自然に長期記憶保持に向かうバイアスを生じさせることを示している。

ABSTRACT

The extension of deep learning towards temporal data processing is gaining an increasing research interest. In this paper we investigate the properties of state dynamics developed in successive levels of deep recurrent neural networks (RNNs) in terms of short-term memory abilities. Our results reveal interesting insights that shed light on the nature of layering as a factor of RNN design. Noticeably, higher layers in a hierarchically organized RNN architecture results to be inherently biased towards longer memory spans even prior to training of the recurrent connections. Moreover, in the context of Reservoir Computing framework, our analysis also points out the benefit of a layered recurrent organization as an efficient approach to improve the memory skills of reservoir models.

研究の動機と目的

• 訓練を受けていない深層RNNの連続する層における内在的短期記憶容量を分析すること。
• 深層RNNにおける層の構造が、隠れ状態の時間的ダイナミクスと記憶保持に与える影響を調査すること。
• 出力の訓練コストを増加させずに、階層的再帰的アーキテクチャがリザボア計算モデルにおける記憶能力を向上させられるかどうかを評価すること。
• 深層スタックドRNNにおける層ごとの記憶期間の多様化を定量すること。

提案手法

• 本研究は、入力から高層へと至る階層的状態遷移を持つ深層スタックドRNNアーキテクチャを採用している。
• 各層はtanh活性化関数を用い、固有値半径ρと入力重みノルムを制御できるように、ランダムな重みで初期化されている。
• 記憶容量（MC）は、各層が遅延k後に過去の入力を再構築する必要がある遅延ベースのタスクを用いて計算されている。
• 分析は訓練されていないネットワークに限定され、重みは[-1,1]に一様に初期化され、ρと||W||₂の制御のため再スケーリングされている。
• 各ρ値（カオス的領域を含む）に対して50個の独立したネットワーク実現が生成され、結果は平均化されている。
• 忘却曲線は、遅延kが増加するに従って記憶保持がどのように減少するかを評価するため分析されており、特に第1層と第10層に注目している。

実験結果

リサーチクエスチョン

• RQ1 深層RNNアーキテクチャの深さが、訓練を受ける前から高層の層が長い短期記憶期間を持つようになる傾向を示すか？
• RQ2 再帰的重みの固有値半径ρが、深層RNNの個々の層の記憶容量に与える影響はいかほどか？
• RQ3 高層の層が低層の層と比較して、どの程度記憶ダイナミクスの多様化を示すか？
• RQ4 層構造を持つ再帰的アーキテクチャは、出力の訓練コストを増加させずにリザボア計算モデルの記憶パフォーマンスを向上させられるか？
• RQ5 遅延依存の記憶保持という観点から、層ごとの忘却曲線はどのように変化するか？

主な発見

• ρ=0.9のとき、訓練されていない深層RNNの高層では、第1層の22.2から第10層の50.1にまで記憶容量（MC）が向上し、下層よりも顕著に長い短期記憶期間を持つ。
• 記憶容量はρ=0.9でピークに達し、秩序領域における安定性と記憶保持の最適なバランスを示している。
• 忘却曲線の分析から、第10層は遅延60においても非ゼロの再認知を示す一方、第1層は遅延30で大部分の情報を失う。
• 高層では記憶再認のピークが右シフトしており、低下勾配が滑らかであるため、下層と比較して忘却がよりゆっくり進行することが示された。
• 層構造により、下層は最近の入力を捉え、高層は長時間にわたる遅延を介して情報を保持するという、自然な記憶期間の多様化が実現されている。
• 状態計算は深さに線形に比例するため、計算コストの増加は最小限に抑えられ、出力の訓練コストは変化しない。