[論文レビュー] On sparse regression, Lp-regularization, and automated model discovery

Jeremy A. McCulloch, Skyler R. St. Pierre+2 more|arXiv (Cornell University)|Oct 9, 2023

Machine Learning in Materials Science被引用数 6

ひとこと要約

本稿では、Lp正則化と物理的制約を組み合わせたハイブリッドニューラルネットワーク手法を提案し、物性モデルの自動的で解釈可能なモデル発見を可能にする。L0正則化が解釈可能性と精度のバランスを独自に達成できることを示しており、スパース性の透明的かつ微調整可能な制御を可能にし、L1（Lasso）やL2（Ridge）よりも、モデルの忠実性を保ちつつバイアスを低減する点で優れている。

ABSTRACT

Sparse regression and feature extraction are the cornerstones of knowledge discovery from massive data. Their goal is to discover interpretable and predictive models that provide simple relationships among scientific variables. While the statistical tools for model discovery are well established in the context of linear regression, their generalization to nonlinear regression in material modeling is highly problem-specific and insufficiently understood. Here we explore the potential of neural networks for automatic model discovery and induce sparsity by a hybrid approach that combines two strategies: regularization and physical constraints. We integrate the concept of Lp regularization for subset selection with constitutive neural networks that leverage our domain knowledge in kinematics and thermodynamics. We train our networks with both, synthetic and real data, and perform several thousand discovery runs to infer common guidelines and trends: L2 regularization or ridge regression is unsuitable for model discovery; L1 regularization or lasso promotes sparsity, but induces strong bias; only L0 regularization allows us to transparently fine-tune the trade-off between interpretability and predictability, simplicity and accuracy, and bias and variance. With these insights, we demonstrate that Lp regularized constitutive neural networks can simultaneously discover both, interpretable models and physically meaningful parameters. We anticipate that our findings will generalize to alternative discovery techniques such as sparse and symbolic regression, and to other domains such as biology, chemistry, or medicine. Our ability to automatically discover material models from data could have tremendous applications in generative material design and open new opportunities to manipulate matter, alter properties of existing materials, and discover new materials with user-defined properties.

研究の動機と目的

• 固体力学におけるデータから解釈可能な予測可能な物性モデルを発見する課題に対処すること。
• 自動モデル発見の過程でスパース性とモデルの解釈可能性を促進するため、さまざまなLp正則化戦略（L0、L1、L2）の有効性を調査すること。
• 運動学的および熱力学的制約をニューラルネットワークに統合し、物理的に意味のあるパrameter推定を保証すること。
• L1正則化が引き起こすバイアスを回避し、L2正則化のスパース性の欠如を補う透明的かつ偏りのない発見フレームワークの開発。
• 物性モデリングを越えて一般化可能な、スパース回帰およびモデル発見のためのガイドラインの確立

提案手法

• 運動学的および熱力学的ドメイン知識を埋め込んだ物性ニューラルネットワークを用い、物理的一致性を確保すること。
• Lp正則化（L0、L1、L2）を適用して、候補となるモデル項のスパース性を誘導し、部分集合選択を実現すること。
• 最良の単一項モデルから出発し、損失の改善に基づいて段階的に関連性の高い項を追加する、ボトムアップ的で反復的な密度化戦略を採用すること。
• 数千回にわたる発見ランを対象に、合成データおよび実験データの両方でモデルを訓練し、性能と安定性を評価すること。
• ユーザー定義の収束基準下での損失関数最小化を通じて正則化戦略を比較し、解釈可能性を確保するためモデルの複雑さを1〜4項に制限すること。
• 異なる正則化タイプにおけるモデルの精度、スパース性、バイアス、分散を体系的に比較することで、結果を検証すること

Figure 1: Lp regularization. Contours of regularization term, $L_{\rm{p}}=\alpha\,\sum_{i=1}^{n_{\rm{para}}}||\,\mbox{\boldmath$\theta$}{}\,||_{p}^{p}$ with $||\,\mbox{\boldmath$\theta$}{}\,||_{p}^{p}=|\,w_{i}\,|^{p}$ , for varying powers, $p=[0.25,0.5,0.75,1,1.5,2,4,8]$ , evaluated for two paramete

実験結果

リサーチクエスチョン

• RQ1 さまざまなLp正則化戦略（L0、L1、L2）は、物性モデル発見におけるモデルの解釈可能性と予測精度のトレードオフにどのように影響するか？
• RQ2 L1正則化とは異なり、強いバイアスを引き起こさずに、L0正則化はスパース性に対する透明的で微調整可能な制御を可能にするか？
• RQ3 ニューラルネットワークと物理的制約（例：対象性、多面凸性）を統合することで、発見されたモデルの信頼性と解釈可能性はどのように向上するか？
• RQ4 非凸的・非線形回帰問題において、トップダウンのしきい値処理と比較して、ボトムアップの密度化アプローチはモデル発見の性能にどのような影響を与えるか？
• RQ5 Lp正則化付きニューラルネットワークは、生物学、化学、医学などの分野におけるシンボリック回帰やスパース回帰などの他のモデル発見手法へ一般化できる程度はどの程度か？

主な発見

• L2正則化（リッジ回帰）は、スパース性を誘導できないため、モデル発見に不適切であり、すべてのパrameterを維持するため、解釈不能なモデルが得られる。
• L1正則化（Lasso）はスパース性を促進するが、強いバイアスを引き起こし、しばしば真の背後モデルを歪め、予測精度を低下させる。
• L0正則化は、バイアスを伴わず、正確な部分集合選択を可能にすることで、解釈可能性と精度のトレードオフに対する透明的で微調整可能な制御を独自に実現する。
• 損失の改善に基づいて項を段階的に追加する本手法のボトムアップ的密度化戦略は、複数の局所最適解を有する非凸問題において、トップダウンのしきい値処理よりも効果的である。
• 本手法は、合成データおよび実験データの両方から、解釈可能で物理的に意味のある物性モデルを効果的に発見でき、1〜4項のモデルが高精度かつ低分散を達成している。
• 本フレームワークは物性モデリングを越えて一般化可能であり、シンボリック回帰、スパース回帰、および他の科学分野における自動モデル発見にも効果的であると期待される。

Figure 2: Invariant based neural network for automated model discovery. The network takes the deformation gradient $F$ as input and outputs the free energy function $\psi$ from which we calculate the stress $\mbox{\boldmath$P$}{}=\partial\psi/\partial\mbox{\boldmath$F$}{}$ . The network is invariant