[論文レビュー] Long-term Forecasting using Higher Order Tensor RNNs

Rose Yu, Stephan Zheng+2 more|arXiv (Cornell University)|Oct 31, 2017

Tensor decomposition and applications参考文献 36被引用数 74

ひとこと要約

HOT-RNNは、テンソル-トレイン分解を用いた高次の再帰的ニューラルネットワークを導入し、長期予測のための非マルコフ性の非線形ダイナミクスをモデル化する。合成データと実データの両方で、標準のRNN/NLSTMより5-12%改善を達成。

ABSTRACT

We present Higher-Order Tensor RNN (HOT-RNN), a novel family of neural sequence architectures for multivariate forecasting in environments with nonlinear dynamics. Long-term forecasting in such systems is highly challenging, since there exist long-term temporal dependencies, higher-order correlations and sensitivity to error propagation. Our proposed recurrent architecture addresses these issues by learning the nonlinear dynamics directly using higher-order moments and higher-order state transition functions. Furthermore, we decompose the higher-order structure using the tensor-train decomposition to reduce the number of parameters while preserving the model performance. We theoretically establish the approximation guarantees and the variance bound for HOT-RNN for general sequence inputs. We also demonstrate 5% ~ 12% improvements for long-term prediction over general RNN and LSTM architectures on a range of simulated environments with nonlinear dynamics, as well on real-world time series data.

研究の動機と目的

• 非線形ダイナミクスと強い時系列依存性を持つシステムにおける長期予測の動機づけ。
• より長い履歴に渡る高次の状態相互作用を捉える高次RNNアーキテクチャの開発。
• パフォーマンスを損なわずにテンソル-トレイン分解によるモデルの複雑さを削減。
• HOT-RNNの表現力と推定分散に関する理論的保証の提供。
• 合成データと実世界の時系列データでベースラインに対する実証的改善を示す。

提案手法

• augmented state s_t に過去 L 回の隠れ状態を保持して高次の記憶を導入。
• 隠れ状態の多項式相互作用を P 次の遷移テンソル W によりモデル化し、非線形ダイナミクスを捉える。
• W にテンソルトレイン分解を適用し、パラメータを O((HL+1)^P) から O(HLR^2P) に削減。
• エンコーダ-デコーダ長期予測のために HOT-RNN を seq2seq フレームワーク（HOT-LSTM）に組み込む。
• 理論的な結果を提供：近似保証（定理1）と推定分散境界（定理2）。
• 実験のために seq2seq アーキテクチャと HOT-RNN 内の LSTM セルを用いた学習設定を採用。

実験結果

リサーチクエスチョン

• RQ1 HOT-RNN は長期の時間的記憶を伴う非線形・高次ダイナミクスを近似できるか？
• RQ2 高次の相互作用とテンソルトレイン圧縮は標準の RNN や LSTM と比べて長期予測を改善するか？
• RQ3 HOT-RNN は表現力とパラメータ効率のトレードオフをどうするのか、またそれを支える理論的保証は何か？
• RQ4 Genz ダイナミクスの合成データと実データの交通・気候データにおける改良は、期間を跨って統計的に有意か？

主な発見

• HOT-RNN は長期予測において一般的な RNN や LSTM より 5-12% の改善を、シミュレートされた非線形ダイナミクスと実世界の時系列の両方で達成する。
• 正規性条件を満たす関数に対して、高次多項式とテンソルトレイン表現を組み合わせると、標準のRNNよりも指数関数的に表現力が高い。
• テンソルトレイン分解は、相関構造を保ちながらパラメータを O((HL+1)^P) から O(HLR^2P) に劇的に削減する。
• HOT-LSTM は長期的な精度でベースラインを上回り、時間とともに誤差伝播がより安定する。
• Genz ダイナミクス、交通データ、気候データセットでの実験は、長期予測の堅牢な改善とベースラインと同等のパラメータ数を示す。