[論文レビュー] Short note on the behavior of recurrent neural network for noisy dynamical system

Kyongmin Yeo|arXiv (Cornell University)|Apr 5, 2019

Model Reduction and Neural Networks参考文献 9被引用数 13

ひとこと要約

本研究は、長短記憶ネットワーク（LSTM）がノイズの多い力学的システム、特にMackey-Glass時系列をどのように学習するかを調査する。訓練時のノイズが増加するにつれ、LSTMは入力データに依存するのではなく、内部の自己動的ダイナミクスに依存するようになり、入力摂動に対してより頑健になるが、適応が遅くなり、より長い緩和 timescale を示す。

ABSTRACT

The behavior of recurrent neural network for the data-driven simulation of noisy dynamical systems is studied by training a set of Long Short-Term Memory Networks (LSTM) on the Mackey-Glass time series with a wide range of noise level. It is found that, as the training noise becomes larger, LSTM learns to depend more on its autonomous dynamics than the noisy input data. As a result, LSTM trained on noisy data becomes less susceptible to the perturbation in the data, but has a longer relaxation timescale. On the other hand, when trained on noiseless data, LSTM becomes extremely sensitive to a small perturbation, but is able to adjusts to the changes in the input data.

研究の動機と目的

• 再帰的ニューラルネットワーク（RNN）が力学的システムにおけるノイズの多い時系列データをどのように処理するかを理解すること。
• 入力摂動への頑健性と入力データの変化への応答性の間のトレードオフを調査すること。
• さまざまなノイズレベルにおけるLSTMにおける入力データと内部状態ダイナミクスの寄与の変化を分析すること。
• 摂動後のLSTM予測の緩和 timescale を測定して動的安定性を評価すること。
• 訓練時のノイズ注入がディープラーニングにおけるモデルの頑健性をどのように向上させるかを実証的に解明すること。

提案手法

• Mackey-Glass時系列を7つのノイズレベル（σ ∈ {0, 0.02, 0.04, 0.08, 0.16, 0.32, 0.64}）で訓練するための個別のLSTMネットワークを構築する。
• 128個のメモリセルを備えた標準的なLSTMアーキテクチャを用い、逐次予測の平均二乗誤差を最小化するためADAM最適化を適用する。
• 入力データを[−0.5, 0.5]に正規化し、評価のため出力を元の単位にスケーリングする。
• 重み付き入力のℓ₁ノルムを用いて、入力データ（yₜ）と隠れ状態（hₜ）がLSTM入力に与える相対的寄与を測定する。
• インパulse入力後の正規化誤差の減衰の積分として、緩和 timescale λ を定義し、計算する。
• さまざまなノイズレベルおよび摂動条件におけるモデル性能を、正規化平均二乗誤差（NRMSE）を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 訓練データのノイズレベルを増加させると、LSTMは入力観測への依存性と内部ダイナミクスへの依存性のバランスがどのように変化するか？
• RQ2 訓練ノイズレベルとLSTMの入力摂動に対する頑健性の関係は何か？
• RQ3 訓練ノイズが増加するにつれて、LSTM予測の緩和 timescale はどのように変化するか？
• RQ4 ノイズのないデータで訓練されたLSTMは、なぜ小さな入力摂動に対して極めて感受性を示すのか？
• RQ5 訓練時にノイズを注入することで、時系列モデル化における一般化性能と頑健性はどの程度向上するのか？

主な発見

• 訓練時のノイズレベルが上昇するにつれ、LSTMはノイズの多い入力データへの依存度を低下させ、内部の自己動的ダイナミクスにますます依存するようになる。
• σ = 0.64で訓練されたLSTMは、σ = 0のモデルと比較して、インパulse後の初期偏差（e₀）が2.8倍小さく、頑健性の向上を示している。
• 緩和 timescale λ は訓練ノイズに比例して増加する：σ = 0.64ではλ ≈ 25–30 δt、σ = 0.02ではλ ≈ 20 δtであり、摂動からの回復が遅くなることを示している。
• σ = 0.64のモデルのNRMSEは、σ = 0のときの0.050からσ = 0.64のときの0.141に僅かに上昇するが、ノイズのあるデータでも性能劣化が最小限に抑えられている。
• 一方、σ = 0のモデルは、σ = 0.02のノイズ下でNRMSEが0.268から0.658に急激に悪化し、感受性の高さが顕著に現れている。
• ノイズのあるデータで訓練されたモデル（σ = 0.64）は、低〜高ノイズレベルの範囲で安定した性能を維持しているが、ノイズのないデータで訓練されたモデルはノイズのある入力では失敗する。