[論文レビュー] Equilibrated Recurrent Neural Network: Neuronal Time-Delayed Self-Feedback Improves Accuracy and Stability

Ziming Zhang, Anil Kag+2 more|arXiv (Cornell University)|Mar 2, 2019

Neural Networks and Applications参考文献 46被引用数 4

ひとこと要約

本稿では、神経細胞の自己シナプス（autapse）にインspiredされた時間遅れ自己フィードバックループを統合することで、隠れ状態の動的安定化、学習収束の高速化、テスト精度の向上を実現する、均衡型再帰的ニューラルネットワーク（ERNN）を提案する。固定点条件を不正確ニュートン法により解くことで、ERNNは複数のベンチマークで、RNN や FastRNN、FastGRNN-LSQ よりも高速な学習と優れた一般化性能を達成し、最先端の性能を実現した。

ABSTRACT

We propose a novel {\it Equilibrated Recurrent Neural Network} (ERNN) to combat the issues of inaccuracy and instability in conventional RNNs. Drawing upon the concept of autapse in neuroscience, we propose augmenting an RNN with a time-delayed self-feedback loop. Our sole purpose is to modify the dynamics of each internal RNN state and, at any time, enforce it to evolve close to the equilibrium point associated with the input signal at that time. We show that such self-feedback helps stabilize the hidden state transitions leading to fast convergence during training while efficiently learning discriminative latent features that result in state-of-the-art results on several benchmark datasets at test-time. We propose a novel inexact Newton method to solve fixed-point conditions given model parameters for generating the latent features at each hidden state. We prove that our inexact Newton method converges locally with linear rate (under mild conditions). We leverage this result for efficient training of ERNNs based on backpropagation.

研究の動機と目的

• 勾配の消失や爆発に起因する、従来のRNNの学習における不安定性と遅い収束を解消すること。
• 安定化された隠れ状態の動的特性を通じて、より判別力のある潜在特徴を学習することで、テスト時の一般化性能を向上させること。
• 生物的起源を持つ自己フィードバック機構（自己シナプスに類似した時間遅れ接続）を導入し、内部状態の進化を制御・均衡化すること。
• 固定点の解法に基づく効率的な学習フレームワークを開発し、平衡状態の動的特性を逆誤差伝搬可能にする。
• 自己フィードバックが、精度と学習速度の両面で従来のゲーティング機構を上回ることを示すこと。

提案手法

• 各RNN隠れ状態に時間遅れ自己フィードバック接続を追加し、現在の入力に対する平衡点への進化を強制する更新ルールに変更する。
• 隠れ状態の更新を固定点方程式として定式化する：$\mathbf{h}_t = \tanh(\mathbf{h}_t + \mathbf{V}\mathbf{h}_{t-1} + \mathbf{W}\mathbf{x}_t + \mathbf{b})$、ここで$\mathbf{h}_t$は固定点によって暗黙的に定義される。
• 固定点条件を効率的に解くための新規な不正確ニュートン法を提案し、緩い条件下でも局所的線形収束を示す。
• 入力を一定補間でアップサンプリングすることで、各入力が時間経過とともに設定値に到達するようにし、安定な平衡状態探索行動を可能にする。
• 固定点ソルバーを逆誤差伝搬に通してERNNを学習し、パラメータの関数として平衡状態を微分可能なものとする。
• 各タイムステップに学習可能な重み$\eta$を導入し、フィードバック強度を制御することで、正負の両方のフィードバックを可能にし、より良い適応性を実現する。

実験結果

リサーチクエスチョン

• RQ1 RNNにおける時間遅れ自己フィードバックは、隠れ状態遷移の安定化と学習収束の向上を実現できるか？
• RQ2 自己シナプスに類似したフィードバックを組み込むことで、標準RNNやゲーティングネットワークと比較して、より優れた一般化性能と高いテスト精度が得られるか？
• RQ3 不正確ニュートン法は、平衡状態の固定点条件を効率的に解けるか？ これにより、微分可能な学習が可能になるか？
• RQ4 学習されたフィードバック強度$\eta$は、タイムステップやデータセットによってどのように変化するか？ また、固定値や正のみのフィードバックと比較して、性能向上に寄与するか？
• RQ5 ERNNは、FastRNN や FastGRNN-LSQ といった最先端のRNNと比較して、より高速な学習と高い精度を達成できるか？

主な発見

• Google-30データセットでは、ERNNはFastRNNより2.50%高い精度を達成した一方で、学習が約3倍速くなった。
• Pixel-MNISTデータセットでは、ERNNはFastRNNより3.16%高い精度を達成し、学習が6倍速くなった。
• ERNN(K=2)はHAR-2で96.33%の精度を達成し、FastGRNN-LSQを1%上回ったが、学習時間はほぼ同等だった。
• 不正確ニュートン法は局所的線形収束を示し、逆誤差伝搬中の固定点解法が効率的かつ安定に実行可能であった。
• ERNNはFastRNNと比較して、学習損失の収束が著しく速く、最終的な損失値も低かったため、最適化のダイナミクスが向上したことが示された。
• 学習された$\eta$値は小さく、しばしば負であったため、適応的フィードバック（特に抑制）が性能向上に不可欠であることが示された。また、同じデータセットに対して異なる$k$値でも$\eta$のパターンは一貫していた。