[論文レビュー] A Basic Recurrent Neural Network Model

Fathi M. Salem|arXiv (Cornell University)|Dec 29, 2016

Neural Networks and Applications参考文献 4被引用数 4

ひとこと要約

本稿では、固定行列を用いた安定な線形項により、解が有界かつ動的応答が速くなるように保証する基本的再帰的ニューラルネットワーク（bRNN）モデルを提案する。勾配消失／爆発を回避する。制約付き最適化フレームワークとラグランジュ乗数、変分法を用いて、原理的勾配降下を導出し、出力および隠れ状態の教師あり・教師なし損失関数を統合的に取り扱えるようにする。

ABSTRACT

We present a model of a basic recurrent neural network (or bRNN) that includes a separate linear term with a slightly "stable" fixed matrix to guarantee bounded solutions and fast dynamic response. We formulate a state space viewpoint and adapt the constrained optimization Lagrange Multiplier (CLM) technique and the vector Calculus of Variations (CoV) to derive the (stochastic) gradient descent. In this process, one avoids the commonly used re-application of the circular chain-rule and identifies the error back-propagation with the co-state backward dynamic equations. We assert that this bRNN can successfully perform regression tracking of time-series. Moreover, the "vanishing and exploding" gradients are explicitly quantified and explained through the co-state dynamics and the update laws. The adapted CoV framework, in addition, can correctly and principally integrate new loss functions in the network on any variable and for varied goals, e.g., for supervised learning on the outputs and unsupervised learning on the internal (hidden) states.

研究の動機と目的

• ゲーティング機構に依存せずに、単純なRNNにおける勾配消失・爆発問題に持続的に対処すること。
• 入力有界→出力有界（BIBO）安定性を保証する理論的根拠に基づいた安定な再帰的ネットワークアーキテクチャの開発。
• 制約付き最適化と変分法を用いたフレームワークを構築し、多様な損失関数の統合を可能にする。
• 教師あり学習（出力に対するもの）と教師なし学習（内部状態に対するもの）を、柔軟で原理的なパラメータ更新機構を用いて同時に実現すること。
• bRNNが連続的時系列データの回帰トレースを、動的安定性が保証された状態で的確に実行できることを示すこと。

提案手法

• 固定行列を用いた安定な線形項を備えた離散的非線形力学系としてbRNNを定式化し、解が有界になるように保証する。
• ラグランジュ乗数による制約付き最適化（CLM）手法を適用し、チェーンルールを再適用することなく勾配降下更新則を導出する。
• 変分法（CoV）を用いて共状態の逆方向ダイナミクスを導出し、誤差逆伝播をコストレート方程式の解として特定する。
• 境界条件を分割：初期状態 $x_0$ と最終共状態 $\lambda_N = \partial\phi/\partial x_N$ を定義し、前向き状態伝播と後向き共状態伝播を可能にする。
• 教師あり（出力誤差）、教師なし（状態のスパarsity、エントロピー）、正則化項を含めた一般損失関数 $L^k$ を定義する。
• ヤコビアン微分と共状態伝播を用いて、すべてのパラメータ（$U, W, b, V, D, c$）の閉形式での勾配更新を導出する。正則化項も含む。

実験結果

リサーチクエスチョン

• RQ1 ゲーティングユニットを追加せずに、勾配消失・爆発問題を回避できる単純な再帰的ネットワークアーキテクチャを設計できるか？
• RQ2 制約付き最適化と変分法の原則を、RNNにおける安定で原理的な勾配更新を導出するために体系的に応用できるか？
• RQ3 このフレームワークは、単一のRNN学習プロセス内で、教師ありと教師なし学習の両方の目的をどの程度まで統合できるか？
• RQ4 固定線形行列がbRNNモデルにおけるBIBO安定性と高速なダイナミクス応答を保証する役割を果たすか？
• RQ5 共状態ダイナミクスは、再帰的ネットワークにおける誤差逆伝播の勾配挙動を明示的に定量化し、説明できるか？

主な発見

• bRNNモデルはゲーティング機構を必要とせずBIBO安定性を達成し、LSTM や GRU アーキテクチャと比較してパラメータ数を削減できる。
• 勾配消失・爆発現象は共状態ダイナミクスを通じて明示的に定量化され、状態遷移行列の固有値に依存することが示された。
• 共状態の逆方向ダイナミクスは自然に誤差逆伝播プロセスを生み出し、それがコストレート方程式の解として特定される。
• フレームワークにより、教師あり（出力に対するもの）と教師なし（隠れ状態に対するもの）の多様な損失関数を、複雑な再導出を伴わずにシームレスに統合できる。
• 変分法とCLMを用いて、$\Delta U_k$, $\Delta W_k$, $\Delta b_k$, $\Delta V_k$, $\Delta D_k$, および $\Delta c_k$ のすべてのパラメータ更新を閉形式で導出。
• 最終共状態は $\lambda_N = (\sigma_N')^T V_N^T e_N$ として計算され、終端誤差が後向き伝播に直接関連付けられる。