[論文レビュー] A deep neural network approach on solving the linear transport model under diffusive scaling

Liu Liu, Tieyong Zeng+1 more|arXiv (Cornell University)|Feb 24, 2021

Model Reduction and Neural Networks参考文献 25被引用数 4

ひとこと要約

この論文は、伝播スケーリング下での線形輸送方程式を解くための物理情報付きニューラルネットワーク（PINN）フレームワークを提案する。これは、従来の数値法が困難なマルチスケールな運動方程式である。深層ニューラルネットワークを、PDE、初期・境界条件、物理的制約を組み込んだ複合損失関数を用いて学習させることで、解析解への点ごとの収束を達成し、ネットワークの収束に伴い損失関数が消えることを理論的に証明している。

ABSTRACT

In this work, we propose a learning method for solving the linear transport equation under the diffusive scaling. Due to the multiscale nature of our model equation, the model is challenging to solve by using conventional methods. We employ the physical informed neural network (PINN) framework, a mesh-free learning method that can numerically solve partial differential equations. Compared to conventional methods (such as finite difference or finite element type), our proposed learning method is able to obtain the solution at any given points in the chosen domain accurately and efficiently, which enables us to better understand the physics underlying the model. In our framework, the solution is approximated by a neural network that satisfies both the governing equation and other constraints. The network is then trained with a combination of different loss terms. Using the approximation theory and energy estimates for kinetic models, we prove theoretically that the total loss vanishes as the neural network converges, upon which the neural network approximated solution converges pointwisely to the analytic solution of the linear transport model. Numerical experiments for two benchmark examples are conducted to verify the effectiveness and accuracy of our proposed method.

研究の動機と目的

• 伝播スケーリング下での線形輸送方程式のマルチスケール性に起因する数値的課題に対処すること。
• ドメインの離散化を必要とせず、任意の空間的・時間的・速度的点での解を高精度に計算できるメッシュフリーでデータ駆動の手法を開発すること。
• 損失関数がゼロに近づくにつれてニューラルネットワークの解が解析解へ点ごとに収束することを理論的に証明すること。
• 複雑な初期・境界条件を伴うベンチマーク問題において、本手法の精度と頑健性を実証すること。
• 従来の漸近保存型スキームに代わる実用的で容易に実装可能な代替手法を提供すること。特に、深層運動論の知識を必要としない点が特徴である。

提案手法

• 解は、支配的PDE、初期条件、境界条件を損失関数に直接埋め込んだ深層ニューラルネットワークによって近似される。
• 損失関数はPDEの残差、初期条件、境界条件の残差を組み合わせており、競合する損失項をバランスさせるために適応的重みが用いられる。
• 勾配降下法を用いて総損失を最小化するようにネットワークを学習させ、自動微分を活用して効率的な誤差逆伝播を実現する。
• 理論的分析では、運動論モデルにおける近似理論とエネルギー推定を用い、総損失がゼロに近づくと真の解へ点ごとの収束が成立することを証明する。
• 勾配の大きさに基づいて損失項の重みを動的に調整する重みバランスアルゴリズムを採用し、学習の安定性を向上させる。
• 本手法は2つのベンチマーク問題に適用され、伝播スケーリング下での精度と収束性を検証する。

実験結果

リサーチクエスチョン

• RQ1 物理情報付きニューラルネットワークは、剛性がありマルチスケールな運動論的PDEである伝播スケーリング下の線形輸送方程式を効果的に解けるか？
• RQ2 総損失関数がゼロに近づくにつれて、PINNフレームワークの解は真の解析解へ収束するか？
• RQ3 本手法は、この問題に対して従来の有限差分法や有限要素法と比較して、精度と効率に優れているか？
• RQ4 メッシュ生成やドメインの截断なしに、複雑な初期・境界条件を処理できるか？
• RQ5 適応的損失重み付けが、学習の安定性と収束速度に与える影響は何か？

主な発見

• PINNフレームワークの総損失関数は、ニューラルネットワークの収束に伴い消えることが、運動論モデルの近似理論とエネルギー推定を用いて証明された。
• 総損失がゼロに近づくと、ニューラルネットワークの解は線形輸送方程式の解析解へ点ごとに収束する。
• 2つのベンチマーク問題における数値実験では、挑戦的な初期・境界条件下でも高い精度を示し、ドメイン内の任意の点での解を提供した。
• 本手法はメッシュフリーであり、特に高次元の速度空間や非局所的衝突演算子を伴う場合に、従来手法の計算負荷を回避できる。
• 適応的重みバランスアルゴリズムにより、学習の安定性と収束速度が向上し、数値結果で実証された。
• 特殊な数値スキームや速度領域の截断を必要とせず、剛性や複雑な幾何形状に対しても従来手法を上回る性能を発揮した。