[論文レビュー] Integrating Machine Learning with Physics-Based Modeling

E Weinan, Jiequn Han+1 more|arXiv (Cornell University)|Jun 4, 2020

Machine Learning in Materials Science参考文献 42被引用数 26

ひとこと要約

本論文は、物理的制約を埋め込み、多スケールモデルにおけるデータ駆動型クロージャーを用いることで、機械学習と物理ベースのモデリングを統合するフレームワークを提案する。機械学習が、希薄ガスにおける衝撃波構造など複雑な物理的挙動を信頼性高く近似できることを示しており、古典的なナビエ＝ストークス＝フォーリエモデルよりもボルツマン方程式の結果をよく再現している。

ABSTRACT

Machine learning is poised as a very powerful tool that can drastically improve our ability to carry out scientific research. However, many issues need to be addressed before this becomes a reality. This article focuses on one particular issue of broad interest: How can we integrate machine learning with physics-based modeling to develop new interpretable and truly reliable physical models? After introducing the general guidelines, we discuss the two most important issues for developing machine learning-based physical models: Imposing physical constraints and obtaining optimal datasets. We also provide a simple and intuitive explanation for the fundamental reasons behind the success of modern machine learning, as well as an introduction to the concurrent machine learning framework needed for integrating machine learning with physics-based modeling. Molecular dynamics and moment closure of kinetic equations are used as examples to illustrate the main issues discussed. We end with a general discussion on where this integration will lead us to, and where the new frontier will be after machine learning is successfully integrated into scientific modeling.

研究の動機と目的

• 第一原理の物理学と機械学習を統合することで、解釈可能で信頼性の高い物理的モデルの構築を目的とする。
• 保存則、対称性、フレーム不変性を尊重する物理的に整合性のある機械学習モデルを構築する課題に対処すること。
• ミクロスケールのモデルを高精度なトレーニングデータの源として活用することで、データ効率的かつ一般化可能なモデリングを可能とすること。
• 運動論的理論や分子動力学における微視的ダイナミクスから有効なマクロスケールモデルを導出する際の機械学習の役割を調査すること。
• 機械学習が物理ベースのフレームワークと成功裏に統合された後の科学的モデリングの次なるフロンティアを特定すること。

提案手法

• ニューラルネットワークモデルの損失関数に物理的制約（例：保存則、対称性）を直接組み込み、解釈可能性と信頼性を確保する。
• ミクロスケールのシミュレーションとマクロスケールのモデルをクロージャー関係を通じて同時に結合する、コンcurrentな機械学習フレームワークを採用する。
• モーリ＝ツワンツィッヒ形式を用いて非マルコフ的かつ記憶依存のダイナミクスを導出し、それを再帰的ニューラルネットワークで近似する。
• 運動方程式におけるモーメントクロージャー技術を適用し、ヘルミート多項式を用いて高次モーメントを表現し、ニューラルネットワークでクロージャー項を予測する。
• 機械学習モデルの教師ありトレーニングのラベルとして、ボルツマン方程式やシュレーディンガー方程式からの高精度なデータ（「ゴールデンスタンダード」）を活用する。
• 主成分分析とデータ駆動型射影による低次元化モデリングを用い、複雑な系を簡略化しながらも主要なダイナミクスを保持する。

実験結果

リサーチクエスチョン

• RQ1 保存則や対称性といった基本的な物理的原則を尊重するように、機械学習モデルをどのように制約すればよいか？
• RQ2 ミクロスケールの物理法則は分かっているが計算コストが高いため、トレーニングデータを最適に生成する方法は何か？
• RQ3 モーメント方程式における機械学習ベースのクロージャーが、高マッハ数流れにおいてボルツマン方程式の精度を再現できるか？
• RQ4 非マルコフ的系における記憶効果をモデル化する際、モーリ＝ツワンツィッヒ形式と再帰的ニューラルネットワークの間にはどのような関係があるか？
• RQ5 機械学習が物理ベースのフレームワークに成功裏に統合された後、科学的モデリングの次なるフロンティアとは何か？

主な発見

• ヘルミート多項式を用いた機械学習ベースのクロージャー法（HermMLC）は、マッハ数5.5の衝撃波プロファイルにおいてボルツマン方程式と優れた一致を示し、古典的なナビエ＝ストークス＝フォーリエモデルを上回っている。
• 高速な希薄ガス流れにおいて、提案手法は非平衡効果（例：温度の過渡的上昇、非単調な応力プロファイル）を的確に捉えている。
• 損失関数に物理的制約を組み込むことで、学習されたモデルがさまざまな条件下でも物理的に意味のあるものであり、頑健であることが保証された。
• 再帰的ニューラルネットワークは、非マルコフ的系における記憶効果を効果的にモデル化でき、モーリ＝ツワンツィッヒ形式の計算的実装を可能にした。
• このフレームワークにより、第一原理モデルと同等の信頼性を持つが計算的により効率的な解釈可能な高精度モデルの開発が可能になった。
• 科学的モデリングにおける次なる主要なボトルネックは、シュレーディンガー方程式やナビエ＝ストークス方程式のようなミクロスケールモデルから高品質・高精度なデータを生成することである。