[論文レビュー] Gradient Information and Regularization for Gene Expression Programming to Develop Data-Driven Physics Closure Models

Fabian Waschkowski, Haochen Li+6 more|arXiv (Cornell University)|Nov 22, 2022

Evolutionary Algorithms and Applications被引用数 4

ひとこと要約

この論文は、勾配ベース最適化と正則化を統合することで、Gene Expression Programming (GEP) を強化し、正確で解釈可能かつ実装可能な物理閉じ込めモデルを開発する。非線形最適化を用いて最適な数値定数を学習する適応的記号を導入し、$L_2$ 正則化と独自の複雑度指標を適用することで、乱流および燃焼モデリングを含む4つのユースケースにおいて、モデルの正確性と収束速度が顕著に向上した。

ABSTRACT

Learning accurate numerical constants when developing algebraic models is a known challenge for evolutionary algorithms, such as Gene Expression Programming (GEP). This paper introduces the concept of adaptive symbols to the GEP framework by Weatheritt and Sandberg (2016) to develop advanced physics closure models. Adaptive symbols utilize gradient information to learn locally optimal numerical constants during model training, for which we investigate two types of nonlinear optimization algorithms. The second contribution of this work is implementing two regularization techniques to incentivize the development of implementable and interpretable closure models. We apply $L_2$ regularization to ensure small magnitude numerical constants and devise a novel complexity metric that supports the development of low complexity models via custom symbol complexities and multi-objective optimization. This extended framework is employed to four use cases, namely rediscovering Sutherland's viscosity law, developing laminar flame speed combustion models and training two types of fluid dynamics turbulence models. The model prediction accuracy and the convergence speed of training are improved significantly across all of the more and less complex use cases, respectively. The two regularization methods are essential for developing implementable closure models and we demonstrate that the developed turbulence models substantially improve simulations over state-of-the-art models.

研究の動機と目的

• GEP などの進化的アルゴリズムにおける不正確な数値定数の課題に対処し、信頼性の高い物理閉じ込めモデルの開発を阻害する要因を解消する。
• 正則化手法を導入してモデルの複雑度と数値定数の大きさを制御することで、モデルの解釈可能性と実装可能性を向上させる。
• シンボリック回帰の柔軟性と勾配ベース最適化の精度を組み合わせたデータ駆動型モデル発見のためのフレームワークを構築する。
• 流体力学や燃焼を含む多様な物理系において、最先端の手法を上回る性能を示すモデルを生成することで、フレームワークの有効性を実証する。
• 適応的記号設計とハイパーパramータチューニングにより、ランダム初期化への感度を低減することで、安定的かつ頑健な学習を実現する。

提案手法

• 訓練中に局所的に最適な数値定数を学習するために、非線形最適化（BFGS および Levenberg-Marquardt）の勾配情報を用いる適応的記号を GEP に導入する。
• 学習済み数値定数の大きさを制約するため、$L_2$ 正則化を実装し、モデルの安定性を損なう極端な値の出現を防ぐ。
• 独自の記号複雑度に基づく新しい複雑度指標を提案し、多目的最適化を低複雑度で解釈可能なモデルへ誘導する。
• 4つのユースケース（サザーランドの粘性係数法則、層流flame速度モデリング、および2つの乱流閉じ込めモデル：SGS と NLEVM）に拡張された GEP フレームワークを適用する。
• 収束性と頑健性を確保するため、各ユースケースに特化した複数の初期化、集団サイズ、最大実行時間を持つハイブリッド訓練戦略を採用する。
• 正則化パラメータをハイパーパramータスタディによりチューニングすることで、モデルの正確性、複雑度、数値的安定性をバランスさせる多目的最適化を実施する。

実験結果

リサーチクエスチョン

• RQ1 GEP における数値定数の勾配情報に基づく最適化は、従来の進化的手法と比較して、モデルの正確性と収束速度を向上させるか？
• RQ2 $L_2$ 正則化は、学習済み定数の大きさをどの程度低減させ、モデルの安定性と実装可能性を向上させるか？
• RQ3 提案された複雑度指標は、低複雑度で解釈可能な閉じ込めモデルの発見をどの程度効果的に導くか？
• RQ4 強化された GEP フレームワークは、既知の物理法則（例：サザーランドの法則）を再発見できるか、複雑な乱流モデリングタスクにおいて既存のモデルを上回る性能を示せるか？
• RQ5 最適化アルゴリズム（BFGS 対 Levenberg-Marquardt）および適応的記号数の違いが、訓練の信頼性と性能に与える影響は何か？

主な発見

• 適応的記号による勾配ベース最適化の統合により、すべてのユースケースで訓練誤差が低減し、収束速度が向上した。特に、スカラ関数あたり5つの適応的記号を使用した場合に最良の性能が得られた。
• NLEVM 乱流モデルにおいて、$λ = 10^{-7}$ の $L_2$ 正則化により、最大適応的記号の大きさが $8.55 \times 10^{17}$ から $1.12 \times 10^{1}$ に著しく低下し、数値的安定性が向上した。
• 正則化パラメータ $λ = 10^{-7}$ のモデルは、わずかに複雑度が増加したものの、テスト MSE が 0.5770 に抑えられ、正則化なしの訓練（$\text{MSE} = 0.5558$）よりも安定性と一般化性能に優れた結果を示した。
• 独自の複雑度指標と多目的最適化の活用により、$J_c$ 値が低く抑えられたモデルが得られ、解釈可能性の向上と計算負荷の低減が実現した。
• 開発された NLEVM 乱流モデルは、最先端のモデルを大幅に上回るシミュレーション精度を示し、本フレームワークの実用的有用性を実証した。
• ハイパーパラメータスタディの結果、スカラ関数あたり $n_p = 5$ 個の適応的記号が、性能と頑健性のバランスを最適に保つことが確認された。