[論文レビュー] Nonlinear state-space identification using deep encoder networks

Gerben I. Beintema, Roland Tóth+1 more|arXiv (Cornell University)|Dec 14, 2020

Model Reduction and Neural Networks参考文献 30被引用数 4

ひとこと要約

本稿では、非線形状態空間システム同定の計算コストを低減し、非凸な損失関数の形状を滑らかにするために、データを複数のセグメントに分割して確率的勾配最適化を実行する深層エンコーダーネットワークを提案する。エンコーダーは履歴入力および出力データから各セグメントの初期状態を推定し、効率的かつスケーラブルな学習を可能にし、Wiener–Hammersteinベンチマークで既知の最低のシミュレーション誤差を達成した。

ABSTRACT

Nonlinear state-space identification for dynamical systems is most often performed by minimizing the simulation error to reduce the effect of model errors. This optimization problem becomes computationally expensive for large datasets. Moreover, the problem is also strongly non-convex, often leading to sub-optimal parameter estimates. This paper introduces a method that approximates the simulation loss by splitting the data set into multiple independent sections similar to the multiple shooting method. This splitting operation allows for the use of stochastic gradient optimization methods which scale well with data set size and has a smoothing effect on the non-convex cost function. The main contribution of this paper is the introduction of an encoder function to estimate the initial state at the start of each section. The encoder function estimates the initial states using a feed-forward neural network starting from historical input and output samples. The efficiency and performance of the proposed state-space encoder method is illustrated on two well-known benchmarks where, for instance, the method achieves the lowest known simulation error on the Wiener--Hammerstein benchmark.

研究の動機と目的

• 非線形状態空間システム同定におけるシミュレーション誤差最小化の高コストさと非凸性を解決する。
• 大規模データセットに対してスケーリングが悪く、局所最適解に陥りやすい従来手法の限界を克服する。
• 複数ショーティングとディープラーニングを組み合わせることで、スケーラブルで安定した最適化フレームワークを構築する。
• モデルの複雑さを増さずに、データセグメント間での初期状態推定の一般化可能な手法を提供する。
• 標準的な非線形システム同定ベンチマークで最先端のパフォーマンスを達成する。

提案手法

• 全時系列データをN個の独立したセグメントに分割し、確率的勾配最適化を可能にする。
• フィードフォワードニューラルネットワーク（エンコーダー）を用いて、履歴入力および出力データから各セグメントの開始時の初期状態を推定する。
• 各セグメントにおけるマルチステップ予測損失を定式化し、モデルおよびエンコーダーのエンドツーエンド学習を可能にする。
• ステップごとの計算コストを低減するために、状態空間モデルとエンコーダーを確率的勾配降下法で同時に学習する。
• 複数ショーティングアプローチを適用し、損失関数を滑らかにすることで収束の安定性を向上させる。
• エンコーダーを用いて、再最適化なしに正確な状態初期化を可能にすることで、未知のデータへの一般化を実現する。

実験結果

リサーチクエスチョン

• RQ1 深層エンコーダーネットワークは、非線形状態空間モデルにおける初期状態推定を効果的に行い、最適化の効率を向上させることができるか？
• RQ2 データをセグメントに分割し、確率的勾配降下法を用いることで、計算コストを低減しながらも精度を維持できるか？
• RQ3 本手法は、従来のアプローチと比較して、シミュレーション誤差および収束安定性の点で優れているか？
• RQ4 エンコーダーを用いることで、正確な状態初期化を可能にし、未知のデータに一般化できるか？
• RQ5 Wiener–Hammerstein や Silverbox のような標準的な非線形システム同定ベンチマークにおいて、本手法のパフォーマンスはいかがなものか？

主な発見

• 本手法は、Wiener–Hammersteinベンチマークで、これまでに報告された最低のシミュレーション誤差を達成し、先行するディープラーニングおよびシステム同定手法を上回った。
• セグメント化されたデータ上で確率的勾配最適化を可能にすることで、計算コストを顕著に低減した。
• エンコーダーを用いた初期状態推定により、セグメント数の増加に伴うモデルの複雑さの増加を回避できた。
• 学習済みエンコーダーを用いた複数ショーティングアプローチにより、損失関数の形状が滑らかになり、最適化の安定性が向上した。
• Silverboxベンチマークにおいても、以前に提案されたディープラーニング手法を上回る競争力あるパフォーマンスを示した。
• エンコーダーにより、入出力履歴からの初期状態の正確な予測が可能となり、未知のデータセットへの一般化が実現した。