[論文レビュー] On Training and Evaluation of Neural Network Approaches for Model Predictive Control

Rebecka Winqvist, Arun Venkitaraman+1 more|arXiv (Cornell University)|May 8, 2020

Advanced Control Systems Optimization参考文献 24被引用数 5

ひとこと要約

本稿では、微分可能最適化レイヤーを備えた制約付きディープネットワークを用いて、ニューラルネットワークベースのモデル予測制御（MPC）の訓練および評価のための体系的フレームワークを提案する。制約付きMPCの明示的制約を微分可能プロジェクションレイヤーで統合し、高次元入力の効率的サンプリングにヒットアンドリダムサンプラーを採用することで、ブラックボックスネットワークよりも優れた一般化性能を示す安定的で実行可能な制御則を達成した。2次元および4次元系におけるNMSEおよび制御コストのメトリクスによる検証でその有効性が裏付けられた。

ABSTRACT

The contribution of this paper is a framework for training and evaluation of Model Predictive Control (MPC) implemented using constrained neural networks. Recent studies have proposed to use neural networks with differentiable convex optimization layers to implement model predictive controllers. The motivation is to replace real-time optimization in safety critical feedback control systems with learnt mappings in the form of neural networks with optimization layers. Such mappings take as the input the state vector and predict the control law as the output. The learning takes place using training data generated from off-line MPC simulations. However, a general framework for characterization of learning approaches in terms of both model validation and efficient training data generation is lacking in literature. In this paper, we take the first steps towards developing such a coherent framework. We discuss how the learning problem has similarities with system identification, in particular input design, model structure selection and model validation. We consider the study of neural network architectures in PyTorch with the explicit MPC constraints implemented as a differentiable optimization layer using CVXPY. We propose an efficient approach of generating MPC input samples subject to the MPC model constraints using a hit-and-run sampler. The corresponding true outputs are generated by solving the MPC offline using OSOP. We propose different metrics to validate the resulting approaches. Our study further aims to explore the advantages of incorporating domain knowledge into the network structure from a training and evaluation perspective. Different model structures are numerically tested using the proposed framework in order to obtain more insights in the properties of constrained neural networks based MPC.

研究の動機と目的

• ニューラルネットワークベースのMPCアプローチのための標準的で体系的なフレームワークの開発。
• 学習ベースのMPCにおけるデータ生成、モデル検証、性能評価のための一貫性のない手法の解消。
• 具体的にはMPC制約をニューラルネットワークアーキテクチャに組み込むことで、学習および制御性能がどのように向上するかの探求。
• 構造に配慮したニューラルネットワーク（制約を組み込んだもの）とブラックボックスアーキテクチャとの間で、精度、安定性、一般化性能の観点から比較。
• 統計的サンプリング手法を用いて、高次元状態空間における効率的でスケーラブルな訓練データ生成の実現。

提案手法

• CVXPYを用いてPyTorchベースのニューラルネットワークフレームワーク内にMPC制約を微分可能プロジェクションレイヤーとして実装。
• ヒットアンドリダムサンプラーを用いて、不変集合𝒞∞から効率的に訓練データを生成し、高次元状態空間における均一なカバーを実現。
• OSQPを用いたオフラインのMPC問題の解法により、真の最適制御入力を得て、訓練のための真値ラベルを保証。
• ReLUベースのニューラルネットワークを訓練し、状態（および任意のモデルパラメータ）を制御入力にマップする。プロジェクションレイヤーにより再帰的実行可能性が保証される。
• テストデータにおける正規化平均二乗誤差（NMSE）と閉ループ軌道における正規化制御コストを用いて性能を評価。
• 勾配に基づく入力設計および分析を適用し、データ効率性とモデルのロバスト性を向上。

実験結果

リサーチクエスチョン

• RQ1 データ生成、モデル構造、検証の観点から、ニューラルネットワークベースのMPCのための一貫性のあるフレームワークを構築するにはどうすればよいか。
• RQ2 微分可能プロジェクションレイヤーを介して明示的なMPC制約を埋め込むことで、学習された制御方策の一般化性能および安定性にどのような影響を与えるか。
• RQ3 制約に配慮したアーキテクチャ（制約認識型）を備えた構造に配慮したニューラルネットワークとブラックボックスネットワークとの間で、NMSEおよび制御コストの観点から性能にどのような差が生じるか。
• RQ4 MPCのための高次元状態空間における訓練データ生成に最も効率的で統計的に妥当な手法は何か。
• RQ5 MPCマッピングからの勾配情報を活用することで、入力サンプリングおよびモデル訓練の効率を向上させることは可能か。

主な発見

• ヒットアンドリダムサンプラーは、高次元系であっても不変集合𝒞∞の効率的かつ均一なサンプリングを可能にし、スケーラビリティの観点でグリッドベースの手法を上回る。
• 微分可能プロジェクションレイヤーを組み込んだニューラルネットワークは、特に訓練データが限られた場合に、ブラックボックスネットワークよりも顕著に低いNMSE（例：10–20％の低減）を達成する。
• 制約に配慮したアーキテクチャを用いて学習された制御則は、500～1000の軌道にわたり、より低い正規化制御コスト（Jₙ）を示し、より優れた閉ループ性能を示している。
• ネットワーク構造にMPC制約を組み込むことで、再帰的実行可能性および漸近的安定性が保証されるが、これはブラックボックスモデルでは保証されない。
• 訓練データ生成はネットワーク訓練よりも計算コストが高く、ヒットアンドリダムのような効率的サンプリング戦略の導入が不可欠であることが示された。
• フレームワークは、訓練データサイズと近似精度の明確なトレードオフを示しており、4次元例では約7000サンプルを超えると性能が飽和することが明らかになった。