[論文レビュー] Deep Recurrent Neural Networks for Time Series Prediction

Sharat C. Prasad, P. Vara Prasad|arXiv (Cornell University)|Jul 22, 2014

EEG and Brain-Computer Interfaces参考文献 12被引用数 26

ひとこと要約

本稿では、時系列データの高次時系列的ダイナミクスをモデル化するため、拡張されたタイムスライスごとの誤差逆伝播（backpropagation through time）を用いた深層再帰ニューラルネットワーク（RNN）を提案する。これにより、エンドツーエンドの特徴抽出と予測が可能となり、てんかん発作予測において平均99%を超える検出率を達成した。深層構造と動的計画法による学習により、一般化性能の向上と誤差低減が実現された。

ABSTRACT

Ability of deep networks to extract high level features and of recurrent networks to perform time-series inference have been studied. In view of universality of one hidden layer network at approximating functions under weak constraints, the benefit of multiple layers is to enlarge the space of dynamical systems approximated or, given the space, reduce the number of units required for a certain error. Traditionally shallow networks with manually engineered features are used, back-propagation extent is limited to one and attempt to choose a large number of hidden units to satisfy the Markov condition is made. In case of Markov models, it has been shown that many systems need to be modeled as higher order. In the present work, we present deep recurrent networks with longer backpropagation through time extent as a solution to modeling systems that are high order and to predicting ahead. We study epileptic seizure suppression electro-stimulator. Extraction of manually engineered complex features and prediction employing them has not allowed small low-power implementations as, to avoid possibility of surgery, extraction of any features that may be required has to be included. In this solution, a recurrent neural network performs both feature extraction and prediction. We prove analytically that adding hidden layers or increasing backpropagation extent increases the rate of decrease of approximation error. A Dynamic Programming (DP) training procedure employing matrix operations is derived. DP and use of matrix operations makes the procedure efficient particularly when using data-parallel computing. The simulation studies show the geometry of the parameter space, that the network learns the temporal structure, that parameters converge while model output displays same dynamic behavior as the system and greater than .99 Average Detection Rate on all real seizure data tried.

研究の動機と目的

• 時系列データにおける高次時系列依存性を捉えることのできない浅いネットワークやマルコフモデルの限界を克服すること。
• 単一の深層再帰アーキテクチャ内で時系列特徴と予測をエンドツーエンドで学習可能にするための手法の開発。
• より深いネットワーク構造を活用することで、正確な近似に必要なユニット数を削減すること。
• スケーラブルな学習を実現するため、動的計画法と行列演算を用いた効率的な学習手順の開発。
• 深層RNNが実世界のバイオメディカル時系列データ、特にてんかん発作予測において有効であることを実証すること。

提案手法

• 提案手法は、複雑な時系列ダイナミクスを浅いネットワークでは到達できない範囲でモデル化できる、複数の隠れ層を有する深層再帰ニューラルネットワークを用いる。
• タイムスライスごとの誤差逆伝播を1ステップを超えて拡張することで、長距離依存性を捉え、高次マルコフ過程のモデリングを改善する。
• 長期間のシーケンスにわたる勾配を効率的に計算するために、行列演算を用いた動的計画法に基づく学習アルゴリズムを導出する。
• データ並列計算をサポートしており、大規模な時系列データに対する学習効率を向上させる。
• 特徴抽出と予測を統合的に実行するため、手作業による特徴工学の必要性が不要になる。
• 理論的分析により、ネットワークの深さを増すか、誤差逆伝播の範囲を広げることで、近似誤差の減少速度が向上することが証明された。

実験結果

リサーチクエスチョン

• RQ1 拡張されたタイムスライスごとの誤差逆伝播を用いた深層再帰ネットワークは、浅いネットワークに比べ、高次時系列依存性のモデリングにおいて優れているか？
• RQ2 ネットワークの深さや誤差逆伝播の長さを増すことで、時系列モデリングにおける近似誤差の低減がどの程度促進されるか？
• RQ3 深層RNNにおけるエンドツーエンド学習は、バイオメディカル時系列予測において、手作業による特徴工学の必要性を排除できるか？
• RQ4 提案された動的計画法に基づく学習手順は、長期間のシーケンスに対する効率性とスケーラビリティをどのように向上させるか？
• RQ5 深層RNNの実効的性能は、既存の手法と比較しててんかん発作予測においてどのように評価されるか？

主な発見

• 深層RNNモデルは、すべてのテスト済みの実際のてんかん発作データで平均99%を超える検出率を達成し、高い予測精度を示した。
• 理論的分析により、隠れ層を追加するか、誤差逆伝播の範囲を広げることで、近似誤差の減少速度が加速することが確認された。
• シミュレーション研究の結果、ネットワークは下位の時系列システムの動的挙動を正しく学習し、再現できた。
• トレーニング中にパラメータ収束が観察されたため、複雑なパrameter空間内での最適化が安定していることが示された。
• 行列演算を用いた動的計画法の活用により、特にデータ並列計算アーキテクチャを活用した場合に、効率的な学習が可能になった。
• 手作業による特徴工学の不要化により、インプラント可能なデバイスに適したコンactで低消費電力の実装が可能になった。