[論文レビュー] An Iterative Scientific Machine Learning Approach for Discovery of Theories Underlying Physical Phenomena

Navid Zobeiry, Keith D. Humfeld|arXiv (Cornell University)|Sep 24, 2019

Neural Networks and Applications参考文献 14被引用数 4

ひとこと要約

本稿では、支配方程式の事前知識がなくても、物理的理論を反復的科学的機械学習手法によって発見する手法を提案する。変換された特徴量に対して、累乗、指数関数、無次元数などの一般的な関数形の組み合わせをテストすることで、ニューラルネットワークの学習と収束速度を用いて相関の高い式を特定し、3回の盲検査で閉形式の物理法則を正常に回復した。

ABSTRACT

Form a pure mathematical point of view, common functional forms representing different physical phenomena can be defined. For example, rates of chemical reactions, diffusion and heat transfer are all governed by exponential-type expressions. If machine learning is used for physical problems, inferred from domain knowledge, original features can be transformed in such a way that the end expressions are highly aligned and correlated with the underlying physics. This should significantly reduce the training effort in terms of iterations, architecture and the number of required data points. We extend this by approaching a problem from an agnostic position and propose a systematic and iterative methodology to discover theories underlying physical phenomena. At first, commonly observed functional forms of theoretical expressions are used to transform original features before conducting correlation analysis to output. Using random combinations of highly correlated expressions, training of Neural Networks (NN) are performed. By comparing the rates of convergence or mean error in training, expressions describing the underlying physical problems can be discovered, leading to extracting explicit analytic equations. This approach was used in three blind demonstrations for different physical phenomena.

研究の動機と目的

• 物理現象の背後にある明示的解析式を発見する、理論に依存しない反復的機械学習フレームワークの開発。
• 一般的な関数形（例：べき乗則、指数関数、無次元数）を体系的にテストすることで、ドメインの専門知識に依存するのを低減する。
• 特徴量変換におけるニューラルネットワークの学習収束と平均誤差を測定することで、最も物理的に意味のある式を同定する。
• 力学、熱伝達、気体力学の多様な物理分野において、盲検査のシナリオで本手法の有効性を示す。
• データが限られた物理系における科学的発見のためのブラックボックスMLの代替として、体系的かつ解釈可能な代替手段を提供する。

提案手法

• 本手法は、入力特徴量から一般的な物理的表現を想起させる、候補関数形（例：累乗、指数関数、三角関数、逆数）のライブラリを生成することで開始する。
• 各候補式に対して、元の特徴量を変換し、その出力を測定された物理量とするようにニューラルネットワークを学習させる。
• 学習性能（収束速度と平均誤差）を指標として候補式を順位付けし、速やかに収束する式が真の物理法則と強い相関を示すと判断する。
• 相関分析とニューラルネットワーク学習を反復的に組み合わせ、最も相関の高い関数形を真の物理法則の候補成分として選択する。
• 特に入力単位が利用可能な場合に、既知の物理的単位と次元解析を活用して探索空間を縮小する。
• 最終的な候補式は、代数的変換（例：$X^{-2} = (X^{-4})^{0.5}$）による等価性の確認を通じて、既知の閉形式解と照合して検証する。

実験結果

リサーチクエスチョン

• RQ1 機械学習手法は、支配方程式や関数形の事前知識がなくても、システムの背後にある物理法則を発見できるか？
• RQ2 一般的な物理的関数形（例：べき乗則、指数関数、無次元数）を反復的テストすることで、正しい式を同定する有効性はいかほどか？
• RQ3 学習収束速度と平均誤差が、候補関数形の正しさを信頼できる指標としてどの程度有効か？
• RQ4 入力単位と次元解析は、発見プロセスの効率性と正確性にどのように影響を与えるか？
• RQ5 本手法は、物理的に一意でないが数学的に等価な導出（例：$X^{-2} = (X^{-4})^{0.5}$）と物理的正確な式を区別できるか？

主な発見

• 反復的相関分析とニューラルネットワーク学習を用いて、運動方程式（$x = x_0 + v_0 t + rac{1}{2} a t^2$）の正確な閉形式解を正常に回復した。
• 対流熱伝達におけるヌセルト数に関しては、既知の解に非常に類似した式が同定され、$Re^{1/2}$、$Pr^{1/3}$、$ ho^{-1/2}$ などの成分が含まれていたが、探索空間の近似により完全には同一ではなかった。
• 斜め衝撃波問題では、複数の等価な式（例：$M^{-1}$、$M^{-2}$、$ aneta$、$ ext{csc}eta$）が検出されたが、代数的冗長性が存在しても、本手法は主要な関数的要素を同定できた。
• 入力単位の導入により、候補関数の数が著しく減少し、特に第3の検証において発見の効率が向上した。
• 数学的に等価だが物理的に一意でない式（例：$X^{-2} = (X^{-4})^{0.5}$）が誤検出として発生したが、これは物理的等価性と代数的等価性を区別する課題を示している。
• 本手法は、3つの異なる物理分野における盲検査において優れた性能を示し、科学的理論発見の出発点としての可能性を裏付けた。