[論文レビュー] Neural Network Adaptive Control with Long Short-Term Memory

Emirhan Inanc, Yiğit Gürses+3 more|arXiv (Cornell University)|Jan 5, 2023

Neural Networks and Applications被引用数 6

ひとこと要約

本論文は、一時的な不確実性の変動をリアルタイムで予測・補償できるように、適応型ニューラルネットワーク（ANN）コントローラーと長短期記憶（LSTM）ネットワークを組み合わせた新規な適応制御アーキテクチャを提案する。LSTMは制御誤差信号の順序的依存性を活用して、過渡応答性能を著しく向上させる。これにより、定常状態性能を損なわずに、より速く安定したシステム応答が達成される。

ABSTRACT

In this study, we propose a novel adaptive control architecture, which provides dramatically better transient response performance compared to conventional adaptive control methods. What makes this architecture unique is the synergistic employment of a traditional, Adaptive Neural Network (ANN) controller and a Long Short-Term Memory (LSTM) network. LSTM structures, unlike the standard feed-forward neural networks, can take advantage of the dependencies in an input sequence, which can contain critical information that can help predict uncertainty. Through a novel training method we introduced, the LSTM network learns to compensate for the deficiencies of the ANN controller during sudden changes in plant dynamics. This substantially improves the transient response of the system and allows the controller to quickly react to unexpected events. Through careful simulation studies, we demonstrate that this architecture can improve the estimation accuracy on a diverse set of uncertainties for an indefinite time span. We also provide an analysis of the contributions of the ANN controller and LSTM network to the control input, identifying their individual roles in compensating low and high-frequency error dynamics. This analysis provides insight into why and how the LSTM augmentation improves the system's transient response. The stability of the overall system is also shown via a rigorous Lyapunov analysis.

研究の動機と目的

• 突然の不確実性変化にさらされた従来の適応型ニューラルネットワークコントローラーの不良な過渡応答を是正すること。
• LSTMネットワークの順序的記憶機能を活用して、高周波数の誤差ダイナミクスを予測・補償すること。
• システムのダイナミクスとフィードバックを考慮した閉ループ学習手法を考案し、耐障害性を向上させること。
• Lyapunov解析を厳密に行い、システムの安定性を保証するとともに、ANNの適応学習能力を維持すること。
• 制御入力生成におけるANN（低周波数補償）とLSTM（高周波数予測）の補完的役割を明らかにすること。

提案手法

• 適応型ニューラルネットワーク（ANN）コントローラーと長短期記憶（LSTM）ネットワークを統合し、ハイブリッド制御アーキテクチャを構築する。
• 正規化された追従誤差と制御入力の変化率の飽和状態を入力として、閉ループ設定でLSTMを学習させ、過渡誤差補償を学習する。
• LSTMの入力ベクトルを、[e_norm1, e_norm2, e_norm3, u_r] として修正する。ここで u_r は変化率の飽和状態（±0.1 または 0）を符号化する。
• 不確実性のスイッチをシミュレートし、動的誤差シーケンスを捉えることで、予測能力を向上させる新しい学習手順を適用する。
• 総合的な制御入力を、ANNとLSTMの各成分からの寄与に分解し、それぞれの誤差補償における役割を分析する。
• 厳密なLyapunovに基づく解析により、提案された制御則下ですべての信号が有界であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 LSTMネットワークは、突然の不確実性変化下で、適応型ニューラルネットワークコントローラーの過渡応答を効果的に改善できるか？
• RQ2 ANNとLSTMの各成分は、制御入力にどのように異なる寄与をしているのか。具体的には、低周波数と高周波数の誤差ダイナミクスの処理において。
• RQ3 制御入力の変化率の制限情報を組み込んだ閉ループ環境でLSTMを学習させることで、より耐障害性が高く滑らかな制御性能が得られるか？
• RQ4 LSTMの補強によって、不確実性の急激なスイッチング時における振動はどの程度低減され、追従精度はどのように向上するか？
• RQ5 特にLSTMが攻撃的な過渡制御命令を生成する場合に、制御入力の飽和状態下でも、提案されたアーキテクチャは安定性と性能を維持できるか？

主な発見

• 不確実性の大きなスイッチが加わった場合、LSTMを補強したコントローラーは、特にピッチレート追従において過渡の振動を顕著に低減する。
• 高不確実性状況下では、LSTMが大きな迅速な制御信号を生成し、飽和を引き起こすが、これによりより良好な減衰特性とより速い回復性能が得られ、ベースラインのANN専用コントローラーに比べて優れた性能を示す。
• 変化率の制限情報を学習に組み込むことで、LSTMは滑らかで機敏な補償を実現し、総合的な制御入力における高周波数の振動を低減する。
• ANNコントローラーは主に低周波数の不確実性成分を処理するが、LSTMは高周波数の誤差ダイナミクスの予測と補償に特化している。
• 提案された制御則下で、厳密なLyapunov安定性解析により、システムの安定性が保証されている。
• シミュレーション結果から、LSTMネットワークが過渡誤差ダイナミクスを予測し、補正することで、無期限にわたり推定精度が向上することが明らかになった。