[論文レビュー] Model-free prediction of noisy chaotic time series by deep learning

Kyongmin Yeo|arXiv (Cornell University)|Sep 29, 2017

Neural Networks and Applications被引用数 13

ひとこと要約

本稿では、基礎的な力学的ダイナミクスの知識がなく、ノイズの多い混沌的時系列の条件付き確率分布を予測するために、ソフトマックス出力層を備えた長短期記憶（LSTM）ネットワークを用いた深層学習モデルを提案する。モデルはノイズを効果的にフィルタリングし、複雑な非線形ダイナミクスを捉えることができ、予測の不確実性が時間とともに単調に増加するのではなく、動的に変化することを示している。長期間予測（最大500ステップ）において、真の状態は常に95%信頼区間内に収まる。

ABSTRACT

We present a deep neural network for a model-free prediction of a chaotic dynamical system from noisy observations. The proposed deep learning model aims to predict the conditional probability distribution of a state variable. The Long Short-Term Memory network (LSTM) is employed to model the nonlinear dynamics and a softmax layer is used to approximate a probability distribution. The LSTM model is trained by minimizing a regularized cross-entropy function. The LSTM model is validated against delay-time chaotic dynamical systems, Mackey-Glass and Ikeda equations. It is shown that the present LSTM makes a good prediction of the nonlinear dynamics by effectively filtering out the noise. It is found that the prediction uncertainty of a multiple-step forecast of the LSTM model is not a monotonic function of time; the predicted standard deviation may increase or decrease dynamically in time.

研究の動機と目的

• 観測がノイズが多く、不完全な状態でのみ利用可能な場合に、モデルフリーの深層学習的手法を用いて混沌的力学系を予測すること。
• システムの微分方程式や構造に関する事前知識がなく、非線形的でノイズが多く、混沌的である時系列を予測する課題に対処すること。
• ノイズのある過去の観測に基づいて、将来の状態の条件付き確率分布をモデル化し、予測の不確実性を定量化すること。
• マッキー・グラスおよびイケダ方程式というベンチマークとなる混沌的システムに対して、現実的なノイズ条件下で手法を検証すること。
• 深層学習が、非単調的かつ動的に適応する形で、真のダイナミクスを効果的に再構築し、不確実性を伝搬できることを示すこと。

提案手法

• モデルは、ノイズの多い時系列データにおける長期的時間的依存性と非線形ダイナミクスを捉えるために、長短期記憶（LSTM）ネットワークを用いる。
• 将来の状態の区間における離散的確率分布を近似するために、ソフトマックス出力層が採用され、確率的予測が可能になる。
• LSTMは、予測確率分布の負対数尤度を最小化することに対応する正則化付き交差エントロピー損失関数を最小化することで学習される。
• 状態空間は事前に定義された境界を用いて区間化され、出力確率は将来の観測が各区間に属する確率を表す。
• モデルは、$ \bm{Y}_{0:t} $ として表されるノイズのある観測の全履歴に条件付けられ、複数ステップ先の予測に対して $ p(\tilde{y}_{t+n} | \bm{Y}_{0:t}) $ を推定する。
• ネットワークは非線形活性化関数（tanh、シグモイド、ソフトプラス）を備えた複数の全結合層を含み、入力系列から予測分布への複雑な非線形写像を学習可能である。

実験結果

リサーチクエスチョン

• RQ1 基礎的な力学的ダイナミクスが不明で、観測がノイズだらけの状態でのみ利用可能な場合に、深層学習モデルが混沌的時系列の条件付き確率分布を正確に予測できるか。
• RQ2 混沌的システムに対する深層学習モデルにおいて、予測の不確実性は時間とともにどのように変化するか。単調に増加するのか、それとも動的な変動を示すのか。
• RQ3 LSTMベースのモデルが、マッキー・グラスおよびイケダ方程式のような混沌的システムの真のダイナミクスを、ノイズの多いデータからどれほど正確に再構築できるか。
• RQ4 ノイズや決定的混沌の存在にもかかわらず、長期間予測（例：500ステップ）においても高い予測精度と不確実性のキャリブレーションを維持できるか。
• RQ5 従来の時系列モデルと比較して、本モデルのノイズフィルタリング能力および遅延ダイナミクスの捉え具合は、不確実性伝搬の観点からどのように評価できるか。

主な発見

• LSTMモデルは、純粋にノイズの多い観測からのみ、マッキー・グラスおよびイケダの混沌的システムの真のノイズなしのダイナミクスを効果的に予測し、最大500ステップの予測においても真の状態が常に95%信頼区間内に収まる。
• 標準偏差で測定される予測の不確実性は、時間とともに単調に増加しない。代わりに、混沌的システムの局所的ダイナミクスに応じて、動的に増加または減少する。
• マッキー・グラス系では、予測された標準偏差は最初の90ステップ間はノイズレベルに保たれ、その後徐々に増加し、95%信頼区間は常に真の軌道をカバーする。
• イケダ系では、約120ステップ（t = 6）以降、不確実性が急速に増加し、最終的に飽和に達する。95%信頼区間は観測値のほぼ全域をカバーしており、長期予測可能性が限定的であることを示している。
• イケダ系では、予測誤差がノイズ標準偏差の約30%（$ \text{RMSE} = 0.302 \times sd[\boldsymbol{\nu}] $）に抑えられ、ノイズに対して強いロバストネスを示している。
• マッキー・グラスでは17δt、イケダでは20δtの遅延状態を記憶・利用できる能力は、混沌的システムにおけるマルチスケール時間的依存性を学習・活用できる能力を裏付けている。