[論文レビュー] Non-normal Recurrent Neural Network (nnRNN): learning long time dependencies while improving expressivity with transient dynamics

Giancarlo Kerg, Kyle Goyette+5 more|PolyPublie (École Polytechnique de Montréal)|May 28, 2019

Neural Networks and Applications参考文献 27被引用数 19

ひとこと要約

本稿では、正規直交RNNの安定した勾配伝搬を保ちながら、非正規動的特性を組み込むことで表現力を向上させる、新しい再帰的ニューラルネットワークアーキテクチャnnRNNを提案する。シュール分解を用いて再帰的重み行列の正規成分と非正規成分を分離することで、nnRNNは複雑な系列計算に不可欠な一時的ダイナミクスを可能にしつつ、学習の安定性や速度を損なわない。長期間にわたる計算を要するタスクにおいて、正規直交RNNを上回る性能を発揮する。

ABSTRACT

A recent strategy to circumvent the exploding and vanishing gradient problem in RNNs, and to allow the stable propagation of signals over long time scales, is to constrain recurrent connectivity matrices to be orthogonal or unitary. This ensures eigenvalues with unit norm and thus stable dynamics and training. However this comes at the cost of reduced expressivity due to the limited variety of orthogonal transformations. We propose a novel connectivity structure based on the Schur decomposition and a splitting of the Schur form into normal and non-normal parts. This allows to parametrize matrices with unit-norm eigenspectra without orthogonality constraints on eigenbases. The resulting architecture ensures access to a larger space of spectrally constrained matrices, of which orthogonal matrices are a subset. This crucial difference retains the stability advantages and training speed of orthogonal RNNs while enhancing expressivity, especially on tasks that require computations over ongoing input sequences.

研究の動機と目的

• 安定した勾配伝搬を実現するが、同時に直交固有空間に限定される正規直交RNNの表現力の制限を解消する。
• 再帰的ネットワークにおける、長期的依存関係の学習の安定性と計算的表現力の間のトレードオフを克服する。
• 直交行列のスペクトル的安定性を維持しつつ、非直交固有基底を許容することで、トレーニング可能なRNNアーキテクチャを開発する。
• 固有値ノルムと非正規性を明示的に制御することで、勾配安定性と計算の柔軟性のバランスを取る。
• トレーニング中に非正規接続が自然に出現し、系列のオンライン計算を要するタスクで性能が向上することを示す。

提案手法

• 再帰的重み行列をユニタリ行列と上三角行列の積としてパラメータ化するためのシュール分解を用い、正規（対角）成分と非正規（非対角）成分を分離する。
• 完全なシュール分解を明示的に計算せずに、正規成分と非正規成分に分解することで、効率的な最適化を可能にする。
• 正規成分には単位固有値ノルムを維持するための独立した正則化を適用し、非正規成分には一時的ダイナミクスを制御する正則化を適用する。
• 分解された成分上で標準的な最適化アルゴリズムを適用することで、正規直交RNNと同等の学習速度と安定性を維持する。
• 固有値ノルムの平均を正則化するパラメータγを導入し、単位ノルムからの制御された逸脱を可能にすることで、勾配安定性と表現力のバランスを取る。
• 正規成分および非正規成分に制約を課した標準的な誤差逆伝搬法でネットワークを学習させ、学習中に非正規構造が動的に出現するのを可能にする。

実験結果

リサーチクエスチョン

• RQ1 正規直交RNNの表現力を、その長期的依存関係の学習能力を損なわずに向上させることは可能か？
• RQ2 非正規接続によって可能になる一時的ダイナミクスは、系列の継続的計算を要するタスクにおいて、どの程度性能を向上させるか？
• RQ3 非直交固有基底を許容しつつも、正規直交RNNと同等の学習安定性と速度を維持できるか？
• RQ4 正規成分と非正規成分のバランスが、勾配伝搬およびモデル性能にどのように影響するか？
• RQ5 提案されたアーキテクチャは、非正規ダイナミクスを自然に学習することができ、このようなタスクにおいて正規直交RNNと比較して優れた性能を示すか？

主な発見

• nnRNNは、長期記憶が不可欠なタスク（例：コピータスク）において、最先端の正規直交RNNと同等の性能を発揮し、同程度の学習速度を維持する。
• 系列のオンライン計算を要するタスク（例：PTB言語モデリングタスク）では、非正規接続の出現により、正規直交RNNを上回る性能を示す。
• PTBタスクにおいて、学習済みnnRNN行列の平均固有値ノルムは約0.958であり、一時的ダイナミクスを可能にするために単位ノルムからの制御された逸脱が実現されていることが示された。
• コピータスクでは、行列がほぼ正規的であり、平均固有値ノルムが1.0に近い値を示しており、非正規性が必要に応じてのみ出現することを確認した。
• 非正規成分の追加により、直交行列に制限されたスペクトル制約付き行列の空間を超えて、モデルの表現力が拡大された。
• γ（固有値ノルム）に対する正則化と、非正規成分への重み減衰の組み合わせが、最も安定した学習と最高の性能をもたらし、安定性と表現力のバランスの重要性を示している。