[論文レビュー] Nonlinear Systems Identification Using Deep Dynamic Neural Networks

Olalekan Ogunmolu, Xuejun Gu+2 more|arXiv (Cornell University)|Oct 5, 2016

Neural Networks and Applications参考文献 18被引用数 106

ひとこと要約

本論文は、非線形動的システムをモデル化するための深層動的ニューラルネットワークを調査し、SISO/MIMOデータセット（soft-robotおよびDaISy glass furnace）で識別性能とトレーニング効率を評価する。多層、リカレント、LSTM、GRU、およびHammerstein風アーキテクチャを比較する。

ABSTRACT

Neural networks are known to be effective function approximators. Recently, deep neural networks have proven to be very effective in pattern recognition, classification tasks and human-level control to model highly nonlinear realworld systems. This paper investigates the effectiveness of deep neural networks in the modeling of dynamical systems with complex behavior. Three deep neural network structures are trained on sequential data, and we investigate the effectiveness of these networks in modeling associated characteristics of the underlying dynamical systems. We carry out similar evaluations on select publicly available system identification datasets. We demonstrate that deep neural networks are effective model estimators from input-output data

研究の動機と目的

• 逐次データの普遍的な関数近似器として深層ネットワークを用いた非線形システム識別の動機づけ。
• 動的システムモデリングのために複数の深層アーキテクチャ（MLP、RNN、LSTM、GRU）を評価。
• soft-robot実験とDaISyベンチマークからのSISOおよびMIMOデータセットに対して、性能、訓練時間、および頑健性を評価。

提案手法

• 平均二乗誤差損失を用いて、入力を出力に写像する深層ネットワークを監督学習で訓練する。
• 順序データ上で、フィードフォワードMLP、単純RNN、LSTM変種、Fast LSTM、およびGRUアーキテクチャを比較する。
• 非線形静的ブロックと線形動的ブロックを組み合わせたHammerstein風モデルを採用。
• 過学習を防ぐため、バッチ正規化なしで、リカレントモデルにドロップアウトを適用して訓練する。
• RNN/LSTM/GRUの更新とHammerstein構造に関するアーキテクチャ特有の方程式を提供。
• 各モデルとデータセットの推定フィットとMSE、および訓練時間を報告。

実験結果

リサーチクエスチョン

• RQ1 深層動的ニューラルネットワークは、SISOおよびMIMOデータセット全体の入力-出力データから非線形動的システムを正確に識別できるか。
• RQ2 適合精度と訓練効率のバランスを取る、どのニューラルアーキテクチャ（MLP、RNN、LSTM変種、GRU、Hammerstein）が動的システム識別に適しているか。
• RQ3 前処理なしで実世界データセット（放射線療法におけるsoft-robotヘッドの動作と玻璃窯の温度計測）で、異なるアーキテクチャの性能はどうなるか。
• RQ4 Hammerstein風の深層モデルは、入力から状態への遅延と長距離の写像を捉える上で利点があるか。

主な発見

モデル	推定適合率（％）	訓練時間（秒）	MSE
MLP	99.8471	422	113.1052
RNN	99.8448	1191	101.3624
LSTM	99.5144	876	382.6935
FastLSTM	99.4795	881	374.5386
GRU	99.835	884	117.0274
MLP	99.9905	462.64	0.015433
RNN	98.8052	726	0.245833
LSTM	57.1	4163.18	3.216
FastLSTM	91.2822	3310.56	0.689027
GRU	?	?	?

• MLPとリカレントアーキテクチャはSoft-RobotとDaISyデータセットで非常に高い推定適合を達成し、テスト対象のモデルの中でMLPが最も速い訓練時間を示した。
• Soft-Robot: MLP 99.8471% fit, 422s training, 113.1052 MSE; RNN 99.8448% fit, 1191s, 101.3624 MSE; LSTM 99.5144% fit, 876s, 382.6935 MSE; FastLSTM 99.4795% fit, 881s, 374.5386 MSE; GRU 99.835% fit, 884s, 117.0274 MSE.
• GlassFurnace (DaIsY): MLP 99.9905% fit, 462.64s, 0.015433 MSE; RNN 98.8052% fit, 726s, 0.245833 MSE; LSTM 57.1% fit, 4163.18s, 3.216 MSE; FastLSTM 91.2822% fit, 3310.56s, 0.689027 MSE.
• Hammerstein-style RNN/MLPモデルは、5ステップのBPTTを用いて、純粋なフォワードネットワークと比較してシステムダイナミクスを効果的に捉え、良好に動作する。
• LSTM系HammersteinおよびGRU系Hammersteinの変種は、時間依存性のモデリング能力を強力に提供し、訓練時間のトレードオフがある。
• 結果は、深層動的NNが手作りの非線形システム識別アプローチに対する効果的でスケーラブルな代替手段であることを示している。