[論文レビュー] Improved memory in recurrent neural networks with sequential non-normal dynamics

A. Emin Orhan, Xaq Pitkow|arXiv (Cornell University)|May 31, 2019

Neural Networks and Applications参考文献 21被引用数 6

ひとこと要約

本稿では、勾配消失／爆発問題を克服するために、直交行列ではなく、連続的で非正規のダイナミクス（特に鎖状のフィードフォワード重み構造）を用いた再帰的ニューラルネットワーク（RNN）の初期化を提案する。ノルム保存ではなく信号対雑音比（SNR）の最大化に焦点を当てることで、非正規RNNは、長期間の記憶を向上させ、順序付きタスクにおいて直交型の対比的性能を上回る。訓練済みのヴァナイラRNNおよびLSTMでは、特にtanh更新ゲートにおいて、非正規的で鎖状のモチーフが顕在化していることが観察された。

ABSTRACT

Training recurrent neural networks (RNNs) is a hard problem due to degeneracies in the optimization landscape, a problem also known as vanishing/exploding gradients. Short of designing new RNN architectures, previous methods for dealing with this problem usually boil down to orthogonalization of the recurrent dynamics, either at initialization or during the entire training period. The basic motivation behind these methods is that orthogonal transformations are isometries of the Euclidean space, hence they preserve (Euclidean) norms and effectively deal with vanishing/exploding gradients. However, this ignores the crucial effects of non-linearity and noise. In the presence of a non-linearity, orthogonal transformations no longer preserve norms, suggesting that alternative transformations might be better suited to non-linear networks. Moreover, in the presence of noise, norm preservation itself ceases to be the ideal objective. A more sensible objective is maximizing the signal-to-noise ratio (SNR) of the propagated signal instead. Previous work has shown that in the linear case, recurrent networks that maximize the SNR display strongly non-normal, sequential dynamics and orthogonal networks are highly suboptimal by this measure. Motivated by this finding, here we investigate the potential of non-normal RNNs, i.e. RNNs with a non-normal recurrent connectivity matrix, in sequential processing tasks. Our experimental results show that non-normal RNNs outperform their orthogonal counterparts in a diverse range of benchmarks. We also find evidence for increased non-normality and hidden chain-like feedforward motifs in trained RNNs initialized with orthogonal recurrent connectivity matrices.

研究の動機と目的

• 再帰的ニューラルネットワーク（RNN）における勾配消失／爆発問題を、直交行列初期化の枠を超えて解決すること。
• 非正規の再帰的ダイナミクス（特に非直交的で逐次的な重み構造による一時的信号増幅）が、RNNにおける記憶能力を向上させるかどうかを調査すること。
• このような非正規ダイナミクスが、直交初期化から出発した訓練済みのRNNおよびLSTMにおいて、自然に出現するかどうかを調査すること。
• 非正規初期化子が、順序付き学習タスクにおける性能向上に有効なインダクティブバイアスとして機能することを示すこと。

提案手法

• 再帰行列に鎖状でフィードフォワード的重み構造を生成する非正規初期化子を提案し、一時的信号増幅を促進する。
• 記憶容量を定量化するためにフィッシャー記憶行列（FMM）を用い、J(k)は過去の信号に関する情報量、J_totは総記憶容量を測定する。
• 非正規初期化子を用いて訓練したヴァナイラRNNを、直交および恒等初期化子と比較し、順序付きベンチマークでの性能を評価する。
• 訓練済みのRNNおよびLSTMの重み行列を分析し、特に非対称な重みプロファイルから隠れたフィードフォワード鎖構造を検出する。
• LSTM用にハイブリッド初期化子を設計し、更新ゲート（tanh）には鎖状初期化を適用し、他のゲート（シグモイド）には単調なプロファイルを適用する。
• 文字レベルの言語モデリングタスク（例：PTB、enwik8）での性能を評価し、一般化性能および訓練安定性を検証する。

実験結果

リサーチクエスチョン

• RQ1 非正規の再帰的ダイナミクスに、逐次的で鎖状の重み構造を組み込んだRNNは、直交初期化と比較して、ヴァナイラRNNにおける記憶容量を向上させるか？
• RQ2 直交初期化から出発した訓練済みのRNNおよびLSTMは、訓練過程で自然に非正規的で鎖状の重み構造を発展させるか？
• RQ3 訓練済みモデルに顕在化するこのような非正規的モチーフを活用し、より優れた初期化子を設計できるか？
• RQ4 非正規初期化子は、ゲート付きRNN（例：LSTM）においても性能優位性を示すか？ もしそうであるなら、どこに適用すべきか？
• RQ5 非線形性とノイズが存在する状況下で、ノルム保存よりも信号対雑音比（SNR）の最大化がより効果的であるか？

主な発見

• 鎖状初期化を施した非正規RNNは、さまざまな順序付きベンチマークで直交および恒等初期化RNNを上回り、優れた長期記憶能力を示した。
• 直交初期化から出発した訓練済みヴァナイラRNNは、特にtanhゲートにおいて、隠れた鎖状のフィードフォワードモチーフを再帰的重みに発展させ、非正規的ダイナミクスの出現を示した。
• LSTMでは、更新ゲート（tanh）内の再帰的重み行列に鎖状構造が観察されたが、入力、忘却、出力ゲートの行列は単調で鎖状でないプロファイルを示した。
• ハイブリッド初期化子（更新ゲートに鎖状初期化、他のゲートに単調プロファイルを適用）は、標準初期化子と比較して、文字レベルのPTBおよびenwik8タスクで性能を向上させた。
• 非正規初期化子による性能向上は、ヴァナイラRNNで顕著に現れたが、ゲート付きアーキテクチャ（例：LSTM）ではやや弱く、アーキテクチャの複雑さがこのようなインダクティブバイアスの効果を制限している可能性を示唆した。
• 本研究は、一時的に信号を増幅する非正規的ダイナミクスが、ノイズや非線形性を伴うシステムにおける記憶能力向上に、ノルム保存型の直交的ダイナミクスよりも効果的であることを確認した。