[論文レビュー] Adversarial Adaptive Sampling: Unify PINN and Optimal Transport for the Approximation of PDEs

Kejun Tang, Jiayu Zhai+2 more|arXiv (Cornell University)|May 30, 2023

Model Reduction and Neural Networks被引用数 5

ひとこと要約

この論文は、物理的制約付きニューラルネットワーク（PINNs）のための、ニューラルネットワークの解とトレーニングセットの分布を同時に最適化する新しいミニマックスフレームワーク、敵対的適応的サンプリング（AAS）を提案する。残差分布と一様分布の間のワサーライン距離を損失関数に組み込むことで、AASは残差の分散を最小化し、モンテカルロサンプリング誤差を顕著に低減し、特に高次元および正則性が低いPDEにおいて解の精度を向上させる。

ABSTRACT

Solving partial differential equations (PDEs) is a central task in scientific computing. Recently, neural network approximation of PDEs has received increasing attention due to its flexible meshless discretization and its potential for high-dimensional problems. One fundamental numerical difficulty is that random samples in the training set introduce statistical errors into the discretization of loss functional which may become the dominant error in the final approximation, and therefore overshadow the modeling capability of the neural network. In this work, we propose a new minmax formulation to optimize simultaneously the approximate solution, given by a neural network model, and the random samples in the training set, provided by a deep generative model. The key idea is to use a deep generative model to adjust random samples in the training set such that the residual induced by the approximate PDE solution can maintain a smooth profile when it is being minimized. Such an idea is achieved by implicitly embedding the Wasserstein distance between the residual-induced distribution and the uniform distribution into the loss, which is then minimized together with the residual. A nearly uniform residual profile means that its variance is small for any normalized weight function such that the Monte Carlo approximation error of the loss functional is reduced significantly for a certain sample size. The adversarial adaptive sampling (AAS) approach proposed in this work is the first attempt to formulate two essential components, minimizing the residual and seeking the optimal training set, into one minmax objective functional for the neural network approximation of PDEs.

研究の動機と目的

• コロケーション点の非最適なランダムサンプリングが引き起こすPINNトレーニングにおける統計的誤差という重要な問題に対処すること。
• 特に高次元または不規則なPDEにおいて解の精度を低下させる、固定またはヒューリスティックに選ばれたトレーニングセットの限界を克服すること。
• 最適輸送理論を用いて、ニューラルネットワークの解とトレーニングセット分布の最適化を一つのミニマックスフレームワークに統合すること。
• 一般化性と収束性を向上させる理論的根拠を持つ、適応的サンプリング戦略を開発すること。
• ベンチマークPDE、特に高次元およびマルチピーク問題に対して、既存の適応的サンプリング手法よりも定量的に優れた性能を示すこと。

提案手法

• ニューラルネットワークが残差損失を最小化する一方で、深層生成モデルがワサーライン距離を用いて残差誘導分布と一様分布の乖離を最大化するミニマックス最適化問題を定式化する。
• ワサーライン距離を損失関数に正則化項として組み込み、ドメイン全体にわたる残差プロファイルの均一性を暗黙的に強制する。
• 生成モデル（WGANのクライアントに類似）を用いて、残差分散を最小化するように適応的かつ微分可能な方法でコロケーション点をサンプリングする。
• 生成モデル（サンプリングネットワーク）と識別モデル（残差クライアント）を敵対的にトレーニングする：生成モデルはコロケーション点の分布を改善し、識別モデルは残差分布の一様性を評価する。
• 残差最小化と均一性の強制のバランスを取るために正則化パラメータβを導入し、収束速度と精度のトレードオフを可能にする。
• 線形および非線形PDE、特に10次元までの高次元問題に本手法を適用し、適応的サンプリングを用いたモンテカルロ離散化による損失関数の定式化を実施する。

実験結果

リサーチクエスチョン

• RQ1 統一されたミニマックスフレームワークは、PINNsにおけるニューラルネットワークの解とトレーニングセット分布の両方を同時に最適化できるか？
• RQ2 最適輸送を用いて残差分布の一様性を強制することで、PINNトレーニングにおけるモンテカルロサンプリング誤差はどのように低減されるか？
• RQ3 低正則性または高次元性を示すPDEにおいて、敵対的適応的サンプリングは、固定またはヒューリスティックなサンプリング戦略に比べて解の精度をどの程度向上させるか？
• RQ4 本手法は、高残差領域にサンプルを集中させつつも、グローバルな均一性を維持できるか？その結果、一般化性能が向上するか？
• RQ5 正則化パラメータβの値が、さまざまなPDEタイプにおけるAAS手法の収束性と精度に与える影響は何か？

主な発見

• ピークテスト問題（PDE 12）において、AASは相対誤差を2.97×10⁻⁵にまで低減し、DAS-G（3.75×10⁻⁴）およびDAS-R（1.93×10⁻⁴）を上回る性能を示した。
• 二ピーク問題（PDE 13）では、AASは誤差1.09×10⁻⁴を達成し、DAS-G（1.51×10⁻³）およびDAS-R（6.21×10⁻³）を著しく下回った。
• 10次元非線形PDE（PDE 14）において、AASは誤差を1.31×10⁻³にまで低減し、DAS-G（9.55×10⁻³）、DAS-R（1.26×10⁻²）、RAR（9.83×10⁻¹）を上回った。
• トレーニング中に残差分散が単調に減少する傾向を示しており、これは残差分布の一様性が向上していることを示しており、サンプリング誤差の低減と相関している。
• トレーニングセットは、(0.5,0.5)および(-0.5,-0.5)のピーク領域に集中するよう進化し、同時にカバレッジを高めるためのヘビーテール分布を維持している。
• 正則化パラメータβ = 5, 10, 20のすべてにおいて一貫した性能を示しており、収束性の安定性が確認された。