[論文レビュー] Physics-Informed Neural Nets for Control of Dynamical Systems

Eric Aislan Antonelo, Eduardo Camponogara+4 more|arXiv (Cornell University)|Apr 6, 2021

Model Reduction and Neural Networks被引用数 8

ひとこと要約

本稿では、制御入力と初期状態を連続時間ニューラルネットワークに統合することで、長時間予測やリアルタイムのモデル予測制御（MPC）が可能になる、PINNに基づく新規アーキテクチャであるPhysics-Informed Neural Nets for Control（PINC）を提案する。このフレームワークは、数値的手法よりも最大30％速くODEのシミュレーションを実行でき、物理法則とスパースなデータを組み合わせることで、サンプル効率の高いシステム同定を実現する。

ABSTRACT

Physics-informed neural networks (PINNs) impose known physical laws into the learning of deep neural networks, making sure they respect the physics of the process while decreasing the demand of labeled data. For systems represented by Ordinary Differential Equations (ODEs), the conventional PINN has a continuous time input variable and outputs the solution of the corresponding ODE. In their original form, PINNs do not allow control inputs, neither can they simulate for variable long-range intervals without serious degradation in their predictions. In this context, this work presents a new framework called Physics-Informed Neural Nets for Control (PINC), which proposes a novel PINN-based architecture that is amenable to control problems and able to simulate for longer-range time horizons that are not fixed beforehand, making it a very flexible framework when compared to traditional PINNs. Furthermore, this long-range time simulation of differential equations is faster than numerical methods since it relies only on signal propagation through the network, making it less computationally costly and, thus, a better alternative for simulation of models in Model Predictive Control. We showcase our proposal in the control of two nonlinear dynamic systems: the Van der Pol oscillator and the four-tank system.

研究の動機と目的

• 標準PINNが制御応用において抱える限界、例えば制御入力の統合が不十分であること、長時間予測の精度劣化が生じることを是正すること。
• 可変長時間スパンをサポートすることで、PINNをモデル予測制御（MPC）における予測モデルとして利用可能にする。
• 大規模なラベル付きデータセットへの依存を減らすために、物理法則とスパースな実データを組み合わせ、効率的なシステム同定を実現すること。
• 反復的数値ODEソルバーに代えて、一度のパスでのニューラルネットワーク推論を用いることで、力学系のシミュレーションを高速化すること。
• 非線形で複雑なシステムを扱う産業用途にまでPINNの適用範囲を拡大すること、特にスパースまたはノイズの多いデータを前提とする。

提案手法

• 標準PINNアーキテクチャに、連続時間$t$、初期状態$\mathbf{y}_0$、制御入力$\mathbf{u}(t)$を追加する。
• 損失関数を定式化し、ODE系の残差を含めることで、ネットワーク出力が支配的微分方程式を満たすようにする。
• 複数のシャッティングに類似した手法を採用し、初期状態と制御入力を条件として、短い時間間隔ごとの解を予測するようにネットワークを訓練する。
• 物理的制約（残差損失を介して）とスパースな初期条件データの両方を用い、合成損失関数を最小化することでネットワークを訓練する。
• 訓練済みPINCネットを、リアルタイム制御のための高速で微分可能なシミュレータとしてMPCフレームワーク内に適用する。
• L-BFGSなどの最適化手法を用いて高精度な訓練を実現し、勾配伝搬とモデル精度の向上を図るため、スキップ接続などのアーキテクチャ的改善も検討する。

実験結果

リサーチクエスチョン

• RQ1 PINNベースのアーキテクチャを制御入力のサポートと長時間予測に拡張可能か？性能劣化が生じないか？
• RQ2 PINCフレームワークは、従来の数値的ODEソルバーと比較して、シミュレーション速度と精度の点でどの程度優れているか？
• RQ3 PINCネットワークは、固定でない可変時間スパンの非固定時間間隔において、どの程度の精度を維持できるか？
• RQ4 PINCフレームワークは、システムパラメータや初期条件に誤差や不確実性が生じた場合でも、どの程度のロバストネスを示すか？
• RQ5 PINCは物理法則を活用することで、最小限のラベル付きデータで効果的なモデル予測制御（MPC）を可能にするか？

主な発見

• PINCフレームワークは、標準PINNとは異なり、可変時間間隔の長時間予測においても顕著な予測劣化が生じない、正確なODEのシミュレーションを実現した。
• 訓練済みPINCネットによるシミュレーションは、平均して従来の数値的ODEソルバーに比べ最大30％速く、PDEの状況では10倍の高速化が見込まれる。
• フレームワークはヴァン・デル・ポール振動子および4タンク系のMPC制御を成功裏に実現し、パrameterの摂動（例：$k_1$, $k_2$ に5％の誤差）に対しても安定した性能を示した。
• PINCネットは初期条件の摂動に対してもロバストであり、151回のMPC実行において、5層および8層の異なるネットワーク深さにおいて一貫した性能を示した。
• L-BFGS最適化とスキップ接続の使用により、特に深層アーキテクチャにおいて、トレーニング収束とモデル精度の両方が顕著に向上した。
• 初期条件データのみを用いても効果的な制御が達成されたことから、スパースな実データを追加することで、さらにトレーニングの高速化とロバストネスの向上が期待できる。