[論文レビュー] DAS-PINNs: A deep adaptive sampling method for solving high-dimensional partial differential equations

Kejun Tang, Xiaoliang Wan+1 more|arXiv (Cornell University)|Dec 28, 2021

Model Reduction and Neural Networks被引用数 11

ひとこと要約

本稿では、残差誤差分布に基づいてコロケーション点を段階的に適応的にサンプリングする深層生成モデル（KRnet）を用いることで、高次元PDEに対する物理情報付きニューラルネットワーク（PINN）の解法を向上させるDAS-PINNsという深層的適応的サンプリング手法を提案する。この手法は、解の誤差が最も高い領域にサンプルを集中させることで、特に低正則性および高次元問題において顕著に精度を向上させ、一様サンプリングや先行の適応的戦略を上回る。

ABSTRACT

In this work we propose a deep adaptive sampling (DAS) method for solving partial differential equations (PDEs), where deep neural networks are utilized to approximate the solutions of PDEs and deep generative models are employed to generate new collocation points that refine the training set. The overall procedure of DAS consists of two components: solving the PDEs by minimizing the residual loss on the collocation points in the training set and generating a new training set to further improve the accuracy of current approximate solution. In particular, we treat the residual as a probability density function and approximate it with a deep generative model, called KRnet. The new samples from KRnet are consistent with the distribution induced by the residual, i.e., more samples are located in the region of large residual and less samples are located in the region of small residual. Analogous to classical adaptive methods such as the adaptive finite element, KRnet acts as an error indicator that guides the refinement of the training set. Compared to the neural network approximation obtained with uniformly distributed collocation points, the developed algorithms can significantly improve the accuracy, especially for low regularity and high-dimensional problems. We demonstrate the effectiveness of the proposed DAS method with numerical experiments.

研究の動機と目的

• 高次元および低正則性問題において、深層学習ベースのPDEソルバーにおける一様ランダムサンプリングの非効率性を解消すること。
• 高次元空間におけるサンプリング分布の悪さに起因するモンテカルロ損失近似の高分散を克服すること。
• 高残差領域に注目することで、反復的かつ柔軟なフレームワークを構築し、トレーニングセットを段階的に改善すること。
• PINNと深層生成モデルを統合し、誤差指標に従った自己改善型のサンプリング戦略を構築すること。
• 解の構造に関する事前知識を必要とせずに、適応的サンプリングが解の精度を向上させることの有効性を実証すること。

提案手法

• コロケーション点の集合上で残差損失を最小化することにより、物理情報付きニューラルネットワーク（PINNs）でPDEの解を近似する。
• PDEの残差を確率密度関数として扱い、誤差誘導分布を定義することで、適応的サンプリングを可能にする。
• 一様事前分布（例：標準正規分布）から残差誘導分布へと写像を学習する深層生成モデル、KRnetを訓練する。
• KRnetから生成されたコロケーション点は、残差が高い領域に密度が高くなるように生成され、有限要素法における適応的メッシュ・リファインメントに類似する。
• 各ステップで、以前のセットを置き換えたり追加したりすることで、トレーニングセットを反復的に改善し、解の精度を段階的に向上させる。
• 2種類の異なるサンプリング戦略を用いる：DAS-R（残差密度に基づく）およびDAS-G（KRnetから生成されたサンプルに基づく）、両者をPINNトレーニングループに統合する。

実験結果

リサーチクエスチョン

• RQ1 残差分布に従った適応的サンプリングは、一様サンプリングと比較して、高次元PDEにおけるPINN解の精度を顕著に向上させるか？
• RQ2 残差誘導分布をモデル化するために深層生成モデル（KRnet）を用いることは、ヒューリスティックまたはヒューリスティックベースのサンプリング戦略と比較して、どのように優れているか？
• RQ3 DAS-PINNフレームワークは、低正則性PDE解に対して一般化誤差をどれほど低減し、収束性を向上させるか？
• RQ4 一様サンプリングと比較して、より少ないコロケーション点数でも、適応的サンプリング戦略は性能を維持または向上させられるか？
• RQ5 KRnetから生成されたサンプルを用いたトレーニングセットの反復的リファインメントは、解の誤差と残差分散の変化にどのように影響を与えるか？

主な発見

• DAS-PINNsは、一様サンプリングやRARヒューリスティック手法と比較して、特に高次元問題（例：10次元非線形テスト問題）において解の誤差を顕著に低減する。
• DAS-GおよびDAS-Rの誤差は、適応的反復の過程で急速に減少するが、一様サンプリングおよびRARでは時間経過による誤差の改善がほとんどないか、まったく見られない。
• 10次元非線形問題では、DAS-RおよびDAS-Gは、すべてのサンプルサイズにおいて一様サンプリングおよびRARよりも低い誤差を達成しており、DAS-Gは最も一貫した改善を示している。
• DAS-RおよびDAS-Gでは、時間経過とともに残差の分散が減少し、適応的サンプリング後、ドメイン全体にわたり誤差がより均一に分布していることが示唆される。
• 図15の右図は、適応的ステップを0から1に増加させた際、誤差が急激に低下していることを示しており、最初のリファインメントサイクルでの急速な改善を裏付けている。
• 図16および図17の可視化結果は、DAS-RおよびDAS-Gが高誤差領域（例：境界付近や不連続部）にサンプルを集中させ、誤差プロファイルを平坦化していることを確認している。