[論文レビュー] NAS-PINN: Neural architecture search-guided physics-informed neural network for solving PDEs

Yifan Wang, Linlin Zhong|arXiv (Cornell University)|May 17, 2023

Model Reduction and Neural Networks被引用数 8

ひとこと要約

論文は、PINNを解くための効果的なDNNアーキテクチャを自動発見する微分可能なニューラルアーキテクチャ探索（NAS）フレームワーク NAS-PINN を紹介する。層の有無とニューロン数を選択するマスクを用いたビリーフ最適化を通じて、PDEを解く。

ABSTRACT

Physics-informed neural network (PINN) has been a prevalent framework for solving PDEs since proposed. By incorporating the physical information into the neural network through loss functions, it can predict solutions to PDEs in an unsupervised manner. However, the design of the neural network structure basically relies on prior knowledge and experience, which has caused great trouble and high computational overhead. Therefore, we propose a neural architecture search-guided method, namely NAS-PINN, to automatically search the optimum neural architecture for solving certain PDEs. By relaxing the search space into a continuous one and utilizing masks to realize the addition of tensors in different shapes, NAS-PINN can be trained through a bi-level optimization, where the inner loop optimizes the weights and bias of neural networks and the outer loop the architecture parameters. We verify the ability of NAS-PINN by several numerical experiments including Poisson, Burgers, and Advection equations. The characteristics of effective neural architectures for solving different PDEs are summarized, which can be used to guide the design of neural networks in PINN. It is found that more hidden layers do not necessarily mean better performance and sometimes can be harmful. Especially for Poisson and Advection, a shallow neural network with more neurons is more appropriate in PINNs. It is also indicated that for complex problems, neural networks with residual connection can improve the performance of PINNs.

研究の動機と目的

• PDE解法におけるPINNアーキテクチャの自動設計を動機づけ、試行錯誤を削減する。
• レイヤーの有無とニューロン数を探索する微分可能なNASフレームワークを開発する。
• PINN内の可変層・可変幅アーキテクチャを扱うためのマスクを組み込む。
• Poisson、Burgers、Advection（および高次元Burgers）でNAS-PINNを実演し、アーキテクチャのパターンを明らかにする。
• PDEタイプ全体でPINN性能を向上させるアーキテクチャ特徴に関するガイドラインを提供する。

提案手法

• 物理残差、境界条件、初期条件を組み合わせた損失を用いてPINNを定式化する。
• アーキテクチャ探索を連続最適化（α）へ緩和する微分可能なNASを適用する。
• 同一の重みフレームワーク内で層ごとのニューロン数を変え、層をスキップすることを許すマスクを導入する。
• 二層最適化を用いる：内部ループは固定αに対してネットワーク重みθを最適化、外部ループは参照解に対するMSEを用いてαを最適化する。
• 訓練後、αからスキップ/保持決定と各層のニューロン数を選択して離散アーキテクチャを抽出する。

実験結果

リサーチクエスチョン

• RQ1 NAS-PINNは特定のPDEを解くための効果的なニューラルアーキテクチャを自動的に識別できるか。
• RQ2 異なるPDEで最も良いPINN性能を生むアーキテクチャの特徴（深さ、幅の分布、残差接続）は何か。
• RQ3 不規則な領域や問題難易度がPINNの最適アーキテクチャにどう影響するか。
• RQ4 残差接続と浅層/深層ネットワークはPDEの型やパラメータ設定に依存するのか。

主な発見

Problem	Architecture	L2 error
Poisson (Regular)	[2, 50, 70, 1]	4.46e-04
Poisson (Regular)	[2, 70, 70, 30, 30, 50, 1]	1.57e-03
Poisson (Regular)	[2, 50, 50, 1]	1.95e-03
Poisson (Regular)	[2, 50, 70, 1]	4.46e-04
Poisson (Irregular) Circle NAS-PINN	[2, 110, (50, 50, 50, 30,) 1]	2.25e-7
Poisson (Irregular) Circle Giant	[2, 110x7, 1]	2.55e-6
Poisson (Irregular) Circle Dumpy	[2, 110x2, 1]	3.02e-7
Poisson (Irregular) Circle Slender	[2, 10x7, 1]	1.22e-5
Poisson (Irregular) Circle Increase	[2, 10, 30, 50, 70, 90, 110, 110, 1]	4.49e-6
Poisson (Irregular) Circle Decrease	[2, 110, 90, 70, 50, 30, 10, 10, 1]	2.55e-6
Poisson (Irregular) L-shaped NAS-PINN	[2, 110, 110, (10,) 1]	2.05e-6
Poisson (Irregular) L-shaped Giant	[2, 110x7, 1]	8.39e-6
Poisson (Irregular) L-shaped Dumpy	[2, 110x2, 1]	3.38e-6
Poisson (Irregular) L-shaped Slender	[2, 10x7, 1]	4.37e-4
Poisson (Irregular) L-shaped Increase	[2, 10, 30, 50, 70, 90, 110, 110, 1]	2.82e-5
Poisson (Irregular) L-shaped Decrease	[2, 110, 90, 70, 50, 30, 10, 10, 1]	1.62e-5
Poisson (Irregular) Flower NAS-PINN	[2, 50, 70, (70, 70,) 70, 110, 1]	6.91e-6
Poisson (Irregular) Flower Giant	[2, 110x7, 1]	8.97e-6
Poisson (Irregular) Flower Dumpy	[2, 110x2, 1]	1.32e-5
Poisson (Irregular) Flower Slender	[2, 10x7, 1]	1.85e-3
Poisson (Irregular) Flower Increase	[2, 10, 30, 50, 70, 90, 110, 110, 1]	8.70e-5
Poisson (Irregular) Flower Decrease	[2, 110, 90, 70, 50, 30, 10, 10, 1]	1.31e-4
Burgers (ν=0.1) NAS-PINN	[2, 90, 50, 110, 1]	8.87e-7
Burgers (ν=0.1) Giant	[2, 110x7, 1]	1.44e-6
Burgers (ν=0.1) Dumpy	[2, 110x2, 1]	1.52e-6
Burgers (ν=0.1) Slender	[2, 10x7, 1]	1.87e-6
Burgers (ν=0.1) Increase	[2, 10, 30, 50, 70, 90, 110, 110, 1]	2.88e-6
Burgers (ν=0.1) Decrease	[2, 110, 90, 70, 50, 30, 10, 10, 1]	8.97e-7
Burgers (ν=0.07) NAS-PINN	[2, 90, 70, 30, 110, 1]	1.41e-6
Burgers (ν=0.07) Giant	[2, 110x7, 1]	2.15e-6
Burgers (ν=0.07) Dumpy	[2, 110x2, 1]	4.94e-6
Burgers (ν=0.07) Slender	[2, 10x7, 1]	2.35e-6
Burgers (ν=0.07) Increase	[2, 10, 30, 50, 70, 90, 110, 110, 1]	4.45e-6
Burgers (ν=0.07) Decrease	[2, 110, 90, 70, 50, 30, 10, 10, 1]	4.10e-6
Burgers (ν=0.04) NAS-PINN	[2, 110, 110, 70, 110, 1]	1.51e-6
Burgers (ν=0.04) Giant	[2, 110x7, 1]	2.70e-6
Burgers (ν=0.04) Dumpy	[2, 110x2, 1]	1.60e-5
Burgers (ν=0.04) Slender	[2, 10x7, 1]	2.61e-6
Burgers (ν=0.04) Increase	[2, 10, 30, 50, 70, 90, 110, 110, 1]	3.46e-6
Burgers (ν=0.04) Decrease	[2, 110, 90, 70, 50, 30, 10, 10, 1]	2.25e-6
Advection (β=1) NAS-PINN	[2, 110, 110, 1]	1.49e-4
Advection (β=1) Giant	[2, 110x7, 1]	6.08e-4
Advection (β=1) Dumpy	[2, 110x2, 1]	1.49e-4
Advection (β=1) Slender	[2, 10x7, 1]	2.67e-2
Advection (β=1) Increase	[2, 10, 30, 50, 70, 90, 110, 110, 1]	8.56e-4
Advection (β=1) Decrease	[2, 110, 90, 70, 50, 30, 10, 10, 1]	1.40e-3
Advection (β=0.4) NAS-PINN	[2, 90, 90, 90, 90, 110, 1]	1.30e-6
Advection (β=0.4) Giant	[2, 110x7, 1]	3.63e-6
Advection (β=0.4) Dumpy	[2, 110x2, 1]	1.50e-6
Advection (β=0.4) Slender	[2, 10x7, 1]	3.61e-5
Advection (β=0.4) Increase	[2, 10, 30, 50, 70, 90, 110, 110, 1]	5.25e-6
Advection (β=0.4) Decrease	[2, 110, 90, 70, 50, 30, 10, 10, 1]	4.90e-6
Advection (β=0.1) NAS-PINN	[2, 110, 50, 50, 70, 30, 90, 1]	2.56e-6
Advection (β=0.1) Giant	[2, 110x7, 1]	6.14e-6
Advection (β=0.1) Dumpy	[2, 110x2, 1]	6.37e-6
Advection (β=0.1) Slender	[2, 10x7, 1]	8.55e-6
Advection (β=0.1) Increase	[2, 10, 30, 50, 70, 90, 110, 110, 1]	3.31e-6
Advection (β=0.1) Decrease	[2, 110, 90, 70, 50, 30, 10, 10, 1]	2.77e-6
2-D Burgers (3-D input) NAS-PINN	[2, 110, 110, 1]	<not provided>

• NAS-PINNは、層数を抑えつつ層ごとの戦略的な幅を取るアーキテクチャが、深いネットワークよりも優れる場合があることを示す。
• 規則的・不規則な領域のPoissonに対して、NAS-PINNは手動設計やSMAC探索アーキテクチャよりも低いL2誤差を達成する。
• NAS-PINN選択アーキテクチャは複雑な問題で残差接続を重視し、中〜後半の層を好む傾向がある。
• Burgers、Advection、高次元ケースでは、アーキテクチャの深さが問題の難しさやパラメータ設定（例：βやνが小さい）に比例していることを示す。
• いくつかのケースで、浅めで幅広い、または混合（残差）アーキテクチャが深く一様なアーキテクチャよりも良好な結果を示す。