[論文レビュー] Train Once and Use Forever: Solving Boundary Value Problems in Unseen Domains with Pre-trained Deep Learning Models.

Hengjie Wang, Robert Planas+2 more|arXiv (Cornell University)|Apr 22, 2021

Model Reduction and Neural Networks参考文献 38被引用数 8

ひとこと要約

本稿では、事前学習済みのゲノムフロー・ネットワーク（GFNet）とモザイクフロー（MF）ステッチアルゴリズムを活用することで、再訓練を必要とせず、任意のサイズ・形状・境界条件を有する未学習ドメインにおける境界値問題（BVPs）を解く、一度の訓練で済む深層学習フレームワーク、GFNet-MFを提案する。この手法は、新しいドメインに対して再訓練を必要としないため、最先端のPINNsと比較して最大3桁（1000倍）の高速な推論を達成し、学習ドメインよりも最大1200倍大きいドメインにおけるラプラス方程式およびナビエ-ストークス方程式の解に対して高い正確性を示している。

ABSTRACT

Physics-informed neural networks (PINNs) are increasingly employed to replace/augment traditional numerical methods in solving partial differential equations (PDEs). While having many attractive features, state-of-the-art PINNs surrogate a specific realization of a PDE system and hence are problem-specific. That is, each time the boundary conditions and domain shape change, the model needs to be re-trained. This limitation prohibits the application of PINNs in realistic or large-scale engineering problems especially since the costs and efforts associated with their training are considerable. This paper introduces a transferable framework for solving boundary value problems (BVPs) via deep neural networks which can be trained once and used forever for various domains of unseen sizes, shapes, and boundary conditions. First, we introduce \emph{genomic flow network} (GFNet), a neural network that can infer the solution of a BVP across arbitrary boundary conditions on a small square domain called \emph{genome}. Then, we propose \emph{mosaic flow} (MF) predictor, a novel iterative algorithm that assembles or stitches the GFNet's inferences to obtain the solution of BVPs on unseen, large domains while preserving the spatial regularity of the solution. We demonstrate that our framework can estimate the solution of Laplace and Navier-Stokes equations in domains of unseen shapes and boundary conditions that are, respectively, $1200$ and $12$ times larger than the domains where training is performed. Since our framework eliminates the need to re-train, it demonstrates up to 3 orders of magnitude speedups compared to the state-of-the-art.

研究の動機と目的

• 物理情報付きニューラルネットワーク（PINNs）が、毎回新しいドメイン、境界条件、形状に対して再訓練を必要としているという制限を克服すること。
• 追加の訓練なしに、任意のサイズおよび幾何形状の未学習ドメインに一般化可能な、移譲可能な深層学習フレームワークを開発すること。
• 再訓練が非現実的である大規模な工学的応用分野における偏微分方程式（PDEs）の高速でスケーラブルかつ正確な解法を可能にすること。
• 小さな事前学習ドメインから大きな未学習ドメインに解を外挿する際、空間的正則性と解の忠実性を保持すること。

提案手法

• 小さな正方形ドメインで一度だけ学習された深層ニューラルネットワーク、ゲノムフロー・ネットワーク（GFNet）を導入し、あらゆる可能な境界条件におけるBVPの解を推定する。
• 重複するパッチ間でGFNetの予測をステッチする反復的アルゴリズム、モザイクフロー（MF）予測子を設計し、大規模で未学習のドメインにおける解を再構築する。
• 隣接するパッチ間で一貫性制約を課すことにより、最終解の空間的正則性を保証する。
• 座標に基づくニューラル表現を用い、空間的位置と境界条件をGFNetの入力として符号化することで、多様な設定への一般化を可能にする。
• 小さな基準ドメイン内での境界条件とドメイン幾何形状の多様な分布を用いてGFNetを学習し、一般化能力を最大化する。
• MFアルゴリズムを粗いから細かい段階へと適用し、局所的なGFNet推論と一貫性の強制を繰り返し行い、大規模ドメイン全体での解を段階的に精錬する。

実験結果

リサーチクエスチョン

• RQ1 単一の小さなドメインで学習した深層学習モデルが、再訓練なしに、著しく異なるサイズおよび形状のドメインにおけるBVPを解くことができるか？
• RQ2 大規模で未学習のドメインに広がる事前学習モデルの局所的予測をステッチする際、空間的正則性と解の一貫性をどのように保持できるか？
• RQ3 一度の訓練で済むモデルは、再訓練ベースのPINNsと比較して、未学習のPDE問題における推論速度と正確性の面でどの程度優れているか？
• RQ4 このフレームワークは、ナビエ-ストークス方程式のような複雑なPDEを大規模ドメインで解く際にも高い正確性を維持できるか？
• RQ5 解の忠実性を保ったまま、このフレームワークが処理可能なドメインの最大サイズと複雑さはどの程度か？

主な発見

• 提案されたGFNet-MFフレームワークは、学習ドメインよりも最大1200倍大きいドメインにおいて、ラプラス方程式およびナビエ-ストークス方程式の解を正確に得ている。
• ナビエ-ストークス問題において、学習ドメインよりも12倍大きいドメインを再訓練なしに正常に解いている。
• 最先端のPINNsと比較して、推論時間を最大3桁（1000倍）短縮しており、各新しい問題に対して再訓練を必要としている。
• モザイクフロー・アルゴリズムによる一貫性制約の導入により、ステッチされたパッチ間で高い空間的正則性と一貫性を維持している。
• 多様な境界条件とドメイン形状にわたる一般化が可能であり、学習分布外でも強靭性を示している。
• 事前学習済みのGFNetは、参照ドメイン内での未学習の境界条件に対しても高い正確性を達成しており、一般化能力の妥当性が裏付けられている。