[論文レビュー] Neural Networks for Fast Optimisation in Model Predictive Control: A Review

Camilo González, Houshyar Asadi+2 more|arXiv (Cornell University)|Sep 6, 2023

Advanced Control Systems Optimization被引用数 11

ひとこと要約

この調査は、MPCソルバーを置換するためのニューラルネットワークベースの最適化（NNBO）をレビューし、手法を分類し、保証とスピードアップを比較し、ギャップと将来の方向性を強調する。

ABSTRACT

Model Predictive Control (MPC) is an optimal control algorithm with strong stability and robustness guarantees. Despite its popularity in robotics and industrial applications, the main challenge in deploying MPC is its high computation cost, stemming from the need to solve an optimisation problem at each control interval. There are several methods to reduce this cost. This survey focusses on approaches where a neural network is used to approximate an existing controller. Herein, relevant and unique neural approximation methods for linear, nonlinear, and robust MPC are presented and compared. Comparisons are based on the theoretical guarantees that are preserved, the factor by which the original controller is sped up, and the size of problem that a framework is applicable to. Research contributions include: a taxonomy that organises existing knowledge, a summary of literary gaps, discussion on promising research directions, and simple guidelines for choosing an approximation framework. The main conclusions are that (1) new benchmarking tools are needed to help prove the generalisability and scalability of approximation frameworks, (2) future breakthroughs most likely lie in the development of ties between control and learning, and (3) the potential and applicability of recently developed neural architectures and tools remains unexplored in this field.

研究の動機と目的

• MPC（LMPC、NMPC、RMPC）に対するNNBO手法の分類体系を提供する。
• 保証の異なる場合においてMPCソルバーをニューラルネットワークで置換する手法を要約する。
• NNBOフレームワークの問題サイズ、ホライズン長、現実世界の適用性をベンチマークする。
• NNBO for MPCにおけるギャップ、課題、将来の有望な研究方向を特定する。

提案手法

• MPCタイプ（LMPC、NMPC、RMPC）と保持される保証でNNBOアプローチを分類する。
• 模倣学習ベースの NNBOフレームワークと事後処理/検証戦略を説明する。
• 保証なし、確率的保証、厳密保証のトレードオフを要約する。
• ケーススタディ（シミュレーションとロボティクス）からの問題サイズ、ホライズン長、報告されたスピードアップを比較する。
• MPCタイプと適用に応じてNNBO手法を選択するための選択ガイドを提供する。
• 制御学習の統合におけるギャップを強調し、将来の研究方向を提案する。

Figure 1: Typical implementation of NNBO to replace an MPC controller.

実験結果

リサーチクエスチョン

• RQ1 LMPC、NMPC、RMPC全般にわたるMPCソルバー置換のためのNNBOフレームワークは何が存在するか？
• RQ2 これらのNNBO手法はどの保証（なし、確率的、厳密のいずれか）をどの条件下で保持するのか？
• RQ3 これらの手法は問題サイズ、ホライズン長、計算スピードアップの点でどう性能を示し、実システムへの一般化はどの程度か？

主な発見

Ref	L	Core Concept	Guarantees	n_x	n_y	n_u	N_p	N_c	Speed up	Validation
Åkesson et al. (2005)	1b	Train shallow NN to imitate LMPC using RMSE loss function, remove setpoint tracking error manually by zeroing NN outputs for setpoints.	None	2	1	1	20	20	4,000 - 5,000x	Sim
Drgoňa et al. (2018)	1c	Train DNN with MSE loss to imitate MPC. DNN inputs defined via PCA and manual selection.	None	286	6	6	22	22	7.6x	Sim
Kumar et al. (2018)	1a	Approximation of MPC with NN that combines LSTM and DNN. LSTM learns dependence on past actions while DNN learns dependence on current states.	None	4	1	1	-	-	-	Sim
Zhang et al. (2020)	2a	Fit DNN to primal and dual problems thereby enabling online constraint satisfaction check. If violations occur, call backup controller.	Probabilistic optimality with ability to check constraint satisfaction online.	4	3	3	3	3	10x	Robot
Chen et al. (2022)	3a	Train DNN to initialise active set solver and thereby reduce iterations to convergence.	Recursive feasibility and asymptotic stability.	36	36	9	50	50	2x	Sim
Chen et al. (2018)	3b	Project the outputs of an approximate DNN solver onto feasible output sets such that recursive feasibility is maintained. Train the DNN with policy gradient RL instead of supervised learning.	Recursive feasibility of inputs and states.	4	4	2	10	10	-	Sim
Karg and Lucia (2020a)	2c	Paper provides requirements for exact approximation of Explicit LMPC with DNN.	All EMPC guarantees for exact fits. Only constraint satisfaction for approximations.	4	1	1	10	10	-	Sim
Karg and Lucia (2020b)	2c	Verify input and state constraint satisfaction by solving a MILP that performs output range analysis on DNN ReLU approximation of solver, modify the approximation to behave like an LQR controller near the equilibrium point.	Input and state constraint satisfaction and stability.	2	1	1	3	3	-	Sim
Fabiani and Goulart (2022)	2c	Derives conditions based on worst-case error and Lipschitz constant under which DNN ReLU approximations are stable. Formulates MILPs to calculate such quantities.	Optimality, stability, and recursive feasibility.	8	8	3	5	5	-	Sim

• NNBOのMPCにおけるベンチマークツールと一般化テストはまだ必要である。
• 将来のブレークスルーは、制御と学習のより深い統合から生まれる可能性が高い。
• NNBO for MPCにおける新しいニューラルアーキテクチャと学習ツールの可能性はまだ十分に探索されていない。
• NNBOアプローチは、報告されたケースでの正確なMPCと比較して、控えめなもの（約2倍）から非常に大きなもの（数千倍高速）までのスピードアップを達成できる。
• いくつかの手法は二重/一次の模倣とバックアップコントローラを介して確率的または制約充足保証を提供する。一方で正式な保証を提供しないものもある。
• 成功事例の実質的な部分はシミュレーションであり、実環境での展開は少ない。

Figure 2: Block diagram of typical implementation and components of MPC solution.