[論文レビュー] An extended physics informed neural network for preliminary analysis of parametric optimal control problems

Nicola Demo, Maria Strazzullo+1 more|arXiv (Cornell University)|Oct 26, 2021

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本稿では、パラメトリック最適制御問題（OCP）の訓練を加速し、精度を向上させるために、損失関数に加えて物理的制約を入力特徴量およびネットワーク構造に統合する拡張された物理知見に基づくニューラルネットワーク（PINN）を提案する。この手法は、Burgers問題において訓練エポック数を33％削減するなど、高速な収束を達成し、パラメトリックPDE、特にパラメトリックPoisson方程式やOCPにおいても高い解の精度を維持する。

ABSTRACT

In this work we propose an extension of physics informed supervised learning strategies to parametric partial differential equations. Indeed, even if the latter are indisputably useful in many applications, they can be computationally expensive most of all in a real-time and many-query setting. Thus, our main goal is to provide a physics informed learning paradigm to simulate parametrized phenomena in a small amount of time. The physics information will be exploited in many ways, in the loss function (standard physics informed neural networks), as an augmented input (extra feature employment) and as a guideline to build an effective structure for the neural network (physics informed architecture). These three aspects, combined together, will lead to a faster training phase and to a more accurate parametric prediction. The methodology has been tested for several equations and also in an optimal control framework.

研究の動機と目的

• リアルタイムおよび多数のクエリを要する応用における、パラメトリックPDEおよび最適制御問題（OCP）の解法にかかる高い計算コストに対処すること。
• 標準PINNがパラメトリックな設定において有する制限を克服し、損失関数の正則化を超えて物理的知識を統合すること。
• 物理的知見を入力特徴量およびネットワーク構造の両方に活用する、統一的かつ拡張可能なPINNフレームワークを構築し、既存のPINNコードと互換性を保つこと。
• パrameter依存の方程式および望ましいプロファイルを有するOCPの訓練を加速し、一般化性能を向上させること。
• Burgers方程式やパラメトリックPoisson方程式を含むベンチマーク問題において、手法の有効性を実証すること。

提案手法

• 物理的知見を3つのメカニズムを通じてPINNフレームワークに統合する：(1) 損失関数の正則化、(2) 別の入力特徴量（初期・境界条件、外力項など）、(3) 物理知見に基づくニューラルネットワークアーキテクチャ設計。
• パラメトリックPDEにおける訓練効率の向上を図るため、外力項 $ f(oldsymbol{x},m{ u}) = e^{-2((x_0- u_1)^2 + (x_1- u_1)^2)} $ を別個の入力特徴量として採用する。
• Burgers問題には、20–10–5ニューロンの3層全結合ネットワークと双曲正接活性化関数を、Poisson問題には1層あたり20ニューロンとSoftplus活性化関数を用いる。
• ADAM最適化アルゴリズムを用い、学習率はBurgers問題で0.006、Poisson問題で0.03とする。コロケーション点はラテンハイパーボリューム（内部）および一様分布（境界）によるサンプリングを実施する。
• 損失関数には、PDEの残差最小化、境界条件、およびパラメトリックな状況ではパrameter依存の制約を含める。
• パrameter $ m{ u} $ をネットワークの入力に含めることで、異なるパラメータインスタンス間での一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 物理知見に基づくニューラルネットワークは、パラメトリック最適制御問題における訓練の高速化と精度向上に拡張可能か？
• RQ2 初期条件や外力項などの物理的量を別個の入力特徴量として組み込むことで、PINNの収束速度と解の精度にどのような影響を与えるか？
• RQ3 物理知見に基づくネットワークアーキテクチャを設計することで、標準PINNと比較してどの程度訓練効率が向上するか？
• RQ4 提案手法は、パラメトリックPDEにおける多様なパラメータ値に対して、訓練時間を短縮しつつも高い精度を維持できるか？
• RQ5 別個の特徴量と物理知見に基づくアーキテクチャの組み合わせは、標準PINNと比較して損失収束およびポイントワイズ誤差の観点でどの程度優れているか？

主な発見

• 外力項を別個の入力特徴量として組み込むことで、Burgers問題において損失許容誤差0.0001に到達するためのエポック数が180,000から120,000に削減され、訓練時間が33％短縮された。
• パラメトリックPoisson問題において、すべてのテストパラメータインスタンスでPINN解と有限要素法（FEM）の参照解とのポイントワイズ誤差が $ 3 \cdot 10^{-2} $ 未満を維持した。
• パラメトリックPoisson問題において、$ m{ u} = (-0.8, -0.8) $ および $ m{ u} = (0.8, 0.8) $ の両方のケースで、PINNは高精度な予測を達成し、視覚的および定量的におよびFEM解と整合性を示した。
• 複雑な問題、たとえばショック波を発生させるBurgers方程式に対しても、別個の特徴量の導入により収束が速くなったが、単純なケースに比べてその恩恵はやや小さかった。
• 別個の特徴量と物理知見に基づくアーキテクチャのアプローチは、標準PINN実装と完全に互換性があり、既存のPINNコードベースへの容易な統合が可能であった。
• 手法は、双曲型（Burgers）、放物型（Poisson）、および最適制御問題を含む、さまざまなPDEタイプにおいて、一貫した性能向上を示し、強靭性とスケーラビリティを示した。