[論文レビュー] Deep Model Predictive Control with Online Learning for Complex Physical Systems

Katharina Bieker, Sebastian Peitz+3 more|arXiv (Cornell University)|May 24, 2019

Advanced Control Systems Optimization参考文献 28被引用数 34

ひとこと要約

著者らは DeepMPC を提案する。センサーベースのデータ駆動型 MPC フレームワークで、深層 RNN を用いて制御に関連する量を予測し、オンライン更新を組み込んだ MPC に統合することで、複雑な流体のリアルタイム制御を実現する。

ABSTRACT

The control of complex systems is of critical importance in many branches of science, engineering, and industry. Controlling an unsteady fluid flow is particularly important, as flow control is a key enabler for technologies in energy (e.g., wind, tidal, and combustion), transportation (e.g., planes, trains, and automobiles), security (e.g., tracking airborne contamination), and health (e.g., artificial hearts and artificial respiration). However, the high-dimensional, nonlinear, and multi-scale dynamics make real-time feedback control infeasible. Fortunately, these high-dimensional systems exhibit dominant, low-dimensional patterns of activity that can be exploited for effective control in the sense that knowledge of the entire state of a system is not required. Advances in machine learning have the potential to revolutionize flow control given its ability to extract principled, low-rank feature spaces characterizing such complex systems. We present a novel deep learning model predictive control (DeepMPC) framework that exploits low-rank features of the flow in order to achieve considerable improvements to control performance. Instead of predicting the entire fluid state, we use a recurrent neural network (RNN) to accurately predict the control relevant quantities of the system. The RNN is then embedded into a MPC framework to construct a feedback loop, and incoming sensor data is used to perform online updates to improve prediction accuracy. The results are validated using varying fluid flow examples of increasing complexity.

研究の動機と目的

• 完全な状態情報を知らずに、高次元の流体流れの低次元で支配的なパターンを活用して効果的に制御する。
• フル状態ではなく、制御に関連する量を予測する DeepMPC アーキテクチャを開発する。
• 受信センサデータを用いて代理モデルをオンライン更新できるようにし、リアルタイムで予測精度を向上させる。
• ますます複雑になる流れの制御シナリオで性能を実証し、カオス的なダイナミクスへの頑健性を評価する。

提案手法

• 観測量 z = f(y) の代理ダイナミクスモデルを用いて、予測ホライズン N に渡って追従誤差と制御努力を最小化する MPC を定式化する。
• 長期および現在のダイナミクスを捉えるため、エンコーダとデコーダからなる深層リカレントニューラルネットワーク（RNN）を用いて、遅延座標を使って代理ダイナミクスを近似する。
• 3段階のオフライントレーニング：Conditional Restricted Boltzmann Machine で初期化し、1ステップ予測を訓練し、次に N-step デコーダを訓練する。
• RNN を用いてホライズン上の z を予測し、時系列バックプロパゲーションを用いた勾配ベースの最適化（例：BFGS）によって MPC 問題を解く。
• センサーデータを同化して RNN を精練し、完全状態情報への依存を減らすオンライン更新を実装する。

実験結果

リサーチクエスチョン

• RQ1 高度に次元のある流体流れに対して、制御に関連する観測量のための深い RNN 代替を用いた DeepMPC フレームワークはリアルタイム性能を達成できるか。
• RQ2 センサデータからのオンライン学習が、粘性層流・準周期的・カオス的動作といった異なる動的領域で予測精度と制御性能にどのような影響を与えるか。
• RQ3 対称性のような物理的特徴がデータ効率と制御の頑健性を向上させる役割は何か。
• RQ4 予測ホライズン長と正則化が、さまざまな雷雨 Reynolds 数における制御効果に与える影響は何か。

主な発見

• DeepMPC アプローチは、円柱周りの流れに対して良好な制御性能を達成し、さまざまな Reynolds 数で所望の揚力軌道を追従する。
• Re = 100 の単一円柱に対して、方法は自然な渦 shedding を抑制する効果的な周期的制御を生み出す。
• 流体ピンボール構成（3つの円柱）では、追従誤差は Reynolds 数（Re = 100、140、200）とともに増加する。これは複雑さとカオス性の増大による。
• 対称性に基づくデータ拡張を用いると、Re = 140 で追従誤差が有意に減少し、平均をほぼ半減させ、2番目の揚力信号の制御を改善する。
• センサデータによるオンライン学習は追従を急速に改善し、制御コストを削減してフィードバックループにおける実用的なオンライン適応性を示す。
• 限られたセンサーで実行可能であり、完全状態よりも制御に関連する量に焦点を当てることで高次の複雑さにもスケール可能であり、さらなる頑健性向上の余地がある。