[論文レビュー] Neural Galerkin Schemes with Active Learning for High-Dimensional Evolution Equations

Joan Bruna, Benjamin Peherstorfer+1 more|arXiv (Cornell University)|Mar 2, 2022

Model Reduction and Neural Networks参考文献 48被引用数 6

ひとこと要約

本稿では、深層学習とアクティブラーニングを組み合わせたニューラルガレルキン法を提案する。この手法は、フォッカー・プランク方程式や運動論方程式などの高次元時間発展型偏微分方程式（PDE）を解くために設計されており、時間経過に伴いPDEの残差を逐次的に最小化するとともに、解のダイナミクスに従ってデータを適応的にサンプリングすることで、従来の数値解法や標準的な深層学習ソルバーが失敗する高次元領域においても、高精度で長時間にわたるシミュレーションを達成する。

ABSTRACT

Deep neural networks have been shown to provide accurate function approximations in high dimensions. However, fitting network parameters requires informative training data that are often challenging to collect in science and engineering applications. This work proposes Neural Galerkin schemes based on deep learning that generate training data with active learning for numerically solving high-dimensional partial differential equations. Neural Galerkin schemes build on the Dirac-Frenkel variational principle to train networks by minimizing the residual sequentially over time, which enables adaptively collecting new training data in a self-informed manner that is guided by the dynamics described by the partial differential equations. This is in contrast to other machine learning methods that aim to fit network parameters globally in time without taking into account training data acquisition. Our finding is that the active form of gathering training data of the proposed Neural Galerkin schemes is key for numerically realizing the expressive power of networks in high dimensions. Numerical experiments demonstrate that Neural Galerkin schemes have the potential to enable simulating phenomena and processes with many variables for which traditional and other deep-learning-based solvers fail, especially when features of the solutions evolve locally such as in high-dimensional wave propagation problems and interacting particle systems described by Fokker-Planck and kinetic equations.

研究の動機と目的

• 深層ニューラルネットワークを用いた高次元偏微分方程式（PDE）の解法における次元の呪いを克服すること。
• 物理的制約を組み込んだニューラルネットワークやコロケーション法における静的・非適応的データ収集の限界を克服すること。
• 時間積分スキームを用いてニューラルネットワークのパラメータを逐次的に更新する手法を開発し、適応的データ収集を組み合わせた長時間シミュレーションを可能にすること。
• 高次元解における局所的で変化する特徴を捉えるために、残差誤差の適応的サンプリングが不可欠であることを示すこと。
• モンテカルロ法が適用できないような複雑な系、例えば相互作用粒子系や運動論方程式の数値的シミュレーションを可能にすること。

提案手法

• 本手法は、時間依存パラメータを持つ深層ニューラルネットワーク（DNN）を用いてPDEの解を表現し、グローバル最適化ではなく逐次的な時間積分によってパラメータを更新する。
• PDEの残差に基づいてDNNパラメータの非線形時間発展方程式を導出し、解の滑らかさに応じて適応的時間ステップを調整する。
• 残差はサンプリングにより推定され、解とともに進化する適応的インポートランスサンプリングが、高誤差領域に集中する。
• 非定常的かつ間欠的な残差誤差の性質に応じて動的に変化するサンプリング戦略を採用し、静的サンプリングに比べて精度を向上させる。
• 各時間ステップで、サンプルデータに基づいて陰的時間積分（例：陰的エイラー法）と確率的勾配降下法（SGD）を用いてネットワークパラメータを更新する。
• 関数近似の適応的最適化とデータ収集の適応的最適化を統合し、PDEの構造を活用してトレーニングデータ収集をガイドする。

実験結果

リサーチクエスチョン

• RQ1 PDEに基づくニューラルネットワーク時間積分スキームは、パラメータとトレーニングデータの両方を適応的に変更することで、高次元における高精度な長時間シミュレーションを達成できるか？
• RQ2 高次元PDEにおける局所的解の特徴を捉える際、残差誤差の適応的サンプリングは、静的またはランダムサンプリングに比べてどのように優れているか？
• RQ3 トレーニングデータのアクティブラーニングは、グローバルコロケーション法に比べて、どのような状況で深層学習ベースのPDEソルバーの精度を顕著に向上させるか？
• RQ4 ニューラルネットワークのどのような構造的性質が、PDE解における長時間にわたる安定的かつ高精度なパラメータの進化を保証するか？
• RQ5 フェインマン＝カック表現が利用できないような系、例えば相互作用粒子系や運動論方程式を、ニューラルガレルキン法が効果的にシミュレートできるか？

主な発見

• 適応的サンプリングを用いたニューラルガレルキン法は、高次元調和ポテンシャル内の粒子位置の平均および分散について、相対誤差が10⁻³から10⁻²の範囲に収束するが、静的サンプリングでは収束しない。
• 本手法は粒子系のエントロピーの時間発展を高精度に捉えており、100,000サンプルのベンチマークモンテカルロシミュレーションと一致する結果を得た。
• 適応的サンプリングは不可欠である：静的サンプリングでは、特に高次元における変化する解の特徴を捉える際に大きな相対誤差が生じる。
• 本手法は、フォッカー・プランク方程式や運動論方程式に代表される高次元PDEの安定的かつ高精度な長時間積分を可能にし、従来の数値解法や標準的な深層学習手法が失敗する領域でも有効である。
• 逐次的なパラメータ更新と適応的データ収集により、グローバルコロケーションに比べて時間的滑らかさを活用し、サンプリングの非効率性を低減できる。
• 波動伝播や相互作用粒子系のような、局所的に特徴が変化する系においても、動的に関連領域に集中してサンプリングすることで、精度を維持できる。