[論文レビュー] RNNs Evolving in Equilibrium: A Solution to the Vanishing and Exploding Gradients

Anil Kag, Ziming Zhang+1 more|arXiv (Cornell University)|Aug 22, 2019

Model Reduction and Neural Networks参考文献 27被引用数 3

ひとこと要約

本稿では、通常微分方程式（ODE）の平衡多様体上に隠れ状態を進化させる、新たなRNNアーキテクチャ「均衡化再帰ニューラルネットワーク（ERNN）」を提案する。これにより勾配の安定化が図られ、消失／爆発勾配問題が解消される。ERNNは、3–10倍の高速化、1.5–3倍の小型化、従来のRNNと同等の推論コストを実現しながら、順序付きタスクで最先端の精度を達成する。

ABSTRACT

Recurrent neural networks (RNNs) are particularly well-suited for modeling long-term dependencies in sequential data, but are notoriously hard to train because the error backpropagated in time either vanishes or explodes at an exponential rate. While a number of works attempt to mitigate this effect through gated recurrent units, well-chosen parametric constraints, and skip-connections, we develop a novel perspective that seeks to evolve the hidden state on the equilibrium manifold of an ordinary differential equation (ODE). We propose a family of novel RNNs, namely {\em Equilibriated Recurrent Neural Networks} (ERNNs) that overcome the gradient decay or explosion effect and lead to recurrent models that evolve on the equilibrium manifold. We show that equilibrium points are stable, leading to fast convergence of the discretized ODE to fixed points. Furthermore, ERNNs account for long-term dependencies, and can efficiently recall informative aspects of data from the distant past. We show that ERNNs achieve state-of-the-art accuracy on many challenging data sets with 3-10x speedups, 1.5-3x model size reduction, and with similar prediction cost relative to vanilla RNNs.

研究の動機と目的

• 時間軸に沿った誤差逆伝播における再帰的ニューラルネットワーク（RNN）における、消失・爆発勾配問題という根本的課題に取り組む。
• ゲートユニットやスキップ接続といった従来の手法の限界を克服するため、動的システムの視点を導入する。
• ODEの平衡多様体を介して、安定した収束を示す隠れ状態の動的挙動を保証する再帰的アーキテクチャを開発する。
• 遠い過去の入力からの情報的信号を保持することで、長期間の依存関係を効果的にモデル化する。
• 推論コストを増加させることなく、モデルサイズと学習時間を削減する、優れたモデル効率性を達成する。

提案手法

• RNNの隠れ状態の動的挙動を、安定なODEの平衡多様体上に進化させることで、安定性を保証する。
• 隠れ状態がODEシステムの固定点に収束する、一連のRNN—「均衡化再帰ニューラルネットワーク（ERNN）」—を定義する。
• 離散化されたODEソルバーを用いて隠れ状態を計算し、ODEの固定点の安定性により、平衡点への収束が保証される。
• ODEシステムが安定な平衡点を持つことを保証するパラメトリック制約を導入し、勾配の爆発または減衰を防止する。
• 隠れ状態の進化が安定かつ効率的になるようにアーキテクチャを設計し、学習中の高速収束を実現する。
• 平衡多様体を活用して長期間記憶を維持し、順序付きシーケンスにおける遠い過去の情報の効果的な再考を可能にする。

実験結果

リサーチクエスチョン

• RQ1 RNNの隠れ状態をODEの平衡多様体上に進化させることで、時間軸に沿った誤差逆伝播における勾配フローを安定化させることができるか？
• RQ2 このアプローチにより、再帰的ネットワークにおける消失・爆発勾配問題が解消され、著しく軽減されるか？
• RQ3 ERNNは、計算効率を維持したまま、順序付きデータにおける長期間依存関係を効果的に捉えることができるか？
• RQ4 精度、モデルサイズ、学習速度の観点から、標準RNNおよびゲート型アーキテクチャに比べて、ERNNはどの程度優れているか？
• RQ5 ERNNの平衡に基づく動的挙動は、多様な順序付きモデリングベンチマークにおいて、頑健かつスケーラブルであるか？

主な発見

• ERNNは、安定なODEの平衡多様体上に隠れ状態の動的挙動を制約することにより、消失・爆発勾配問題を効果的に解消する。
• 推論および学習の両過程で、固定点に迅速に収束するため、高速かつ安定した最適化が可能になる。
• 複数の困難な順序付きデータセットにおいて、従来のRNNおよびゲート型アーキテクチャを上回る最先端の精度を達成する。
• 標準RNNと比較して、学習速度が3–10倍向上しており、推論時の予測コストに増加は見られない。
• ベースラインRNNと比較して、モデルサイズが1.5–3倍小さくなり、パラメータ効率性の向上が示された。
• アーキテクチャは、遠い過去の情報を効果的に再考できるため、強力な長期間記憶能力を示している。