[論文レビュー] Active Learning Based Sampling for High-Dimensional Nonlinear Partial Differential Equations

Wenhan Gao, Chunmei Wang|arXiv (Cornell University)|Dec 28, 2021

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本稿では、高次元非線形PDEに対する深層学習ベースの最小二乗法解法の収束を加速するため、アクティブラーニングに基づく適応的サンプリング手法を提案する。繰り返し残差誤差が大きい点を選択することで（人間の学習を模倣）、誤差をより効率的に低減し、10次元問題では最大モジュールス誤差が最大66%低減され、20次元問題ではℓ₂誤差が43%低減された。ベースライン手法と比較して顕著な性能向上を示した。

ABSTRACT

The deep-learning-based least squares method has shown successful results in solving high-dimensional non-linear partial differential equations (PDEs). However, this method usually converges slowly. To speed up the convergence of this approach, an active-learning-based sampling algorithm is proposed in this paper. This algorithm actively chooses the most informative training samples from a probability density function based on residual errors to facilitate error reduction. In particular, points with larger residual errors will have more chances of being selected for training. This algorithm imitates the human learning process: learners are likely to spend more time repeatedly studying mistakes than other tasks they have correctly finished. A series of numerical results are illustrated to demonstrate the effectiveness of our active-learning-based sampling in high dimensions to speed up the convergence of the deep-learning-based least squares method.

研究の動機と目的

• 高次元非線形PDEに対する深層学習ベースの最小二乗法の収束が遅い問題に対処する。
• 高次元関数近似における均一サンプリングの計算的非効率性を克服する。
• 最も情報量の多い、高誤差領域に注力することで、解の精度と収束速度を向上させる。
• DGM、DRM、WANといった複数の深層学習PDEフレームワークとの互換性を実証する。

提案手法

• 残差誤差が大きいトレーニング点を優先するアクティブラーニングに基づくサンプリングアルゴリズムを導入する。
• 確率密度関数を用い、選択確率を残差誤差の大きさに比例させる。
• 新たに選択された高影響度のサンプルを用いてニューラルネットワークを繰り返し再訓練し、グローバル誤差を低減する。
• メッシュ生成を回避し、PyTorchによる自動微分を活用する深層学習ベースの最小二乗フレームワーク内で手法を実装する。
• トレーニング前の前処理ステップとして適応的サンプリングを統合することで、既存のPDEソルバー（DGM、DRM、WAN）との互換性を維持する。
• 性能評価のため、高次元HJB方程式およびポアソン方程式に本アルゴリズムを適用する。

実験結果

リサーチクエスチョン

• RQ1 残差誤差に基づくアクティブラーニングは、高次元問題における深層学習ベースPDE解法の収束速度を向上させることができるか？
• RQ2 均一サンプリングと比較して、残差誤差に基づく適応的サンプリングは、誤差低減および収束速度においてどのように優れているか？
• RQ3 本手法は、DGM、DRM、WANといった既存の深層学習PDEフレームワークとどの程度互換性を持つのか？
• RQ4 本手法は、グローバル誤差に加え、局所的（最大モジュールス）誤差の低減においても、ベースライン手法を上回る効果を示すか？
• RQ5 問題の次元が増加するに従い、適応的サンプリングの性能はどのようにスケーリングするか？

主な発見

• 10次元HJB問題において、適応的サンプリングはベースラインモデルと比較して最大モジュールス誤差を65.98%低減した。
• 20次元問題では、ℓ₂誤差が43.48%低減され、高次元における収束の向上が実証された。
• 2次元ポアソン方程式では、30回の試行において平均ℓ₂誤差がベースラインの0.0333から0.0280に低下し、特に優れた試行の分散が小さくなった。
• DGM、DRM、WANの全フレームワークにおいて一貫した改善が確認され、広範な互換性と有効性が裏付けられた。
• 誤差分布の可視化から、適応的サンプリングは領域全体における誤差分散を低減し、特に大きな局所的誤差を最小化することが分かった。
• 絶対差のヒートマップから、適応的サンプリングは解領域全体にわたり、より一様かつ低い誤差を実現しており、特に高曲率または高感度領域で顕著な効果を示した。