[論文レビュー] Predictive State Recurrent Neural Networks

Carlton Downey, Ahmed Hefny+3 more|arXiv (Cornell University)|May 25, 2017

Model Reduction and Neural Networks参考文献 24被引用数 15

ひとこと要約

この論文は、予測状態表現（PSRs）の確率的厳密性と再帰的ニューラルネットワーク（RNNs）の表現能力を組み合わせたハイブリッドモデル、予測状態再帰的ニューラルネットワーク（PSRNNs）を紹介する。状態遷移をベイズフィルタ更新に基づく双線形関数でモデル化し、二段階回帰（2SR）による初期化を採用することで、PSRNNsは4つのデータセットにおいてLSTMやGRUを凌駃する優れた性能を達成し、テンソル分解を用いた効率的な要因分解も可能となる。

ABSTRACT

We present a new model, Predictive State Recurrent Neural Networks (PSRNNs), for filtering and prediction in dynamical systems. PSRNNs draw on insights from both Recurrent Neural Networks (RNNs) and Predictive State Representations (PSRs), and inherit advantages from both types of models. Like many successful RNN architectures, PSRNNs use (potentially deeply composed) bilinear transfer functions to combine information from multiple sources. We show that such bilinear functions arise naturally from state updates in Bayes filters like PSRs, in which observations can be viewed as gating belief states. We also show that PSRNNs can be learned effectively by combining Backpropogation Through Time (BPTT) with an initialization derived from a statistically consistent learning algorithm for PSRs called two-stage regression (2SR). Finally, we show that PSRNNs can be factorized using tensor decomposition, reducing model size and suggesting interesting connections to existing multiplicative architectures such as LSTMs. We applied PSRNNs to 4 datasets, and showed that we outperform several popular alternative approaches to modeling dynamical systems in all cases.

研究の動機と目的

• RNNの訓練安定性の欠如と統計的一致性の欠如という限界を、原理的確率的初期化を統合することで是正すること。
• 従来のベイズフィルタの機能的単純さを克服し、RNN風のアーキテクチャによって豊かな非線形表現を可能にすること。
• PSRsの統計的一致性と深層RNNの表現力の両方を備えたモデルを開発すること。
• PSRNNsのテンソル分解を通じて効率的なモデル圧縮とアーキテクチャの洞察を可能にすること。
• PSRNNsが多様な系列モデリングベンチマークで既存モデルを凌駃することを実証すること。

提案手法

• PSRNNsは、3モードテンソルを用いて双線形状態遷移をモデル化し、隠れ状態と観測値をテンソル積で結合した後、除法正規化を施す。
• モデルは、二段階回帰（2SR）から得られる初期化を用いたバックプロパゲーションスルータイム（BPTT）で訓練される。2SRはPSRsのモーメント法アルゴリズムである。
• PSRNNsにおける双線形構造は、PSRsおよびベイズフィルタにおける観測駆動型信念状態更新のゲーティング解釈から自然に導かれる。
• 要因分解されたPSRNNsはCPテンソル分解を用いて構築され、モデルサイズの削減と柔軟なパラメータ制御が可能となる。
• このアーキテクチャはゲーティング機構として解釈可能であり、カーネルベイズルールおよびLSTMにおける乗法的ユニットと正式に関連付けられる。
• モデルは、離散的（Penn Treebank）および連続的（Swimmer, Mocap, Handwriting）な系列データセットに適用され、一貫した性能向上が得られた。

実験結果

リサーチクエスチョン

• RQ1 PSRsの統計的一致性とRNNの表現力の両方を統合したハイブリッドモデルが、系列モデリングタスクでより優れた性能を達成できるか？
• RQ2 2SRという統計的一致性を持つモーメント法アルゴリズムで初期化されたRNN風アーキテクチャが、訓練安定性と最終的性能を顕著に向上させるか？
• RQ3 PSRNNsに内蔵された双線形構造がテンソル分解によって要因分解可能であり、性能を維持したままモデルサイズを削減できるか？
• RQ4 PSRNNsは、LSTM や GRU といった確立されたアーキテクチャと比較して、多様なデータセットにおける予測精度と一般化性能で優れているか？
• RQ5 初期化がPSRNNsの最適化の多様性と最終的なモデル挙動に与える影響は何か？

主な発見

• ランク40の要因分解されたPSRNNsは、パrameter数が少ないにもかかわらず、Penn Treebank（PTB）データセットでLSTMやGRUを上回る性能を示した。
• パラメータ数が同等の場合は、要因分解されたPSRNNsよりも通常のPSRNNsが優れた性能を示し、線形パrameter化によるより単純な最適化表面であることが示された。
• PSRNNsに第二層を追加すると、PTBにおける性能が顕著に向上し、アーキテクチャの深さの利点が裏付けられた。
• Swimmer, Mocap, Handwritingデータセットにおいて、PSRNNsはKF、RNN、GRU、LSTMをすべて上回り、MSEおよび予測精度の点で一貫した性能向上を示した。
• 2SR初期化は不可欠である：ランダム初期化ではBPTTに失敗するが、2SR初期化により有効な訓練が可能になり、意味のある初期ダイナミクスが保持された。
• 低ランクの要因分解されたPSRNNs（例：ランク40）ですら強力な性能を達成しており、パrameter使用の効率性と頑健性が示された。