[論文レビュー] Recent advances in the SISSO method and their implementation in the SISSO++ code

Thomas A. R. Purcell, Matthias Scheffler+1 more|arXiv (Cornell University)|May 2, 2023

Machine Learning in Materials ScienceMaterials Science被引用数 3

ひとこと要約

この論文はSISSO++コードにおけるアルゴリズム的および実装上の大幅な進歩を提示しており、文法的に整合性のある特徴表現のための二分木表現、非線形パラメータ最適化のためのパラメトリックSISSO、およびモデルの表現力と精度を向上させるためのマルチリジデュアル学習を導入している。これらの改良により、材料科学の応用分野において物理的に意味のある、説明可能なAIモデルを発見可能な範囲が著しく拡大される。

ABSTRACT

Accurate and explainable artificial-intelligence (AI) models are promising tools for the acceleration of the discovery of new materials, ore new applications for existing materials. Recently, symbolic regression has become an increasingly popular tool for explainable AI because it yields models that are relatively simple analytical descriptions of target properties. Due to its deterministic nature, the sure-independence screening and sparsifying operator (SISSO) method is a particularly promising approach for this application. Here we describe the new advancements of the SISSO algorithm, as implemented into SISSO++, a C++ code with Python bindings. We introduce a new representation of the mathematical expressions found by SISSO. This is a first step towards introducing ``grammar'' rules into the feature creation step. Importantly, by introducing a controlled non-linear optimization to the feature creation step we expand the range of possible descriptors found by the methodology. Finally, we introduce refinements to the solver algorithms for both regression and classification, that drastically increase the reliability and efficiency of SISSO. For all of these improvements to the basic SISSO algorithm, we not only illustrate their potential impact, but also fully detail how they operate both mathematically and computationally.

研究の動機と目的

• 材料特性予測のためのSISSO記号的回帰法の表現力と信頼性を向上させること。
• 二分木表現を用いて文法的に整合性があり、物理的に一貫した数学的式を生成すること。
• パラメトリック特徴最適化によりSISSOの能力を拡張し、複雑な非線形モデルを発見可能とする。
• マルチリジデュアル学習と効率的なソルバー法を用いて記述子の特定を改善すること。
• 材料インフォマティクス分野における広範な採用を可能にする、モジュラーでオープンソースのC++コードベースとPythonバインディングを提供すること。

提案手法

• 特徴を二分木として表現することで、再帰的変換、単位の追跡、および物理的整合性のための定義域・値域の制御が可能になる。
• パラメトリックSISSOを導入することで、圧縮センシング指標に基づく損失関数を用いて、特徴生成中に非線形パラメータを最適化可能となる。
• 記述子特定ステップに複数のリジデュアルを実装することで、ターゲット特性の段階的な洗練された近似から学習できる。
• 分類問題に対して線形計画法を適用することで、ソルバーの効率性と信頼性が向上する。
• 大量の生成された式から関連する特徴を選択するため、確率的独立スクリーニング（SIS）と射影スコアを適用する。
• 回帰または分類の最適なn次元記述子を特定するため、部分空間𝒮上でℓ₀正則化最適化を実行する。

Figure 1: A demonstration of the new representation of the features in the SISSO++ code. The feature is stored as the root of the tree (represented by the thick border), the primary features are the leaves, and the rung corresponds to the height of the tree, i.e. the longest path between each leaf a

実験結果

リサーチクエスチョン

• RQ1 SISSOにおける記号的回帰は、どのようにしてより表現力が高く、複雑な非線形モデルを発見できるように拡張できるか？
• RQ2 文法的制約を記号的回帰に体系的に組み込むことで、物理的整合性と数値的安定性を保証できるか？
• RQ3 マルチリジデュアル学習は、SISSOモデルの精度と収束性をどのように向上させるか？
• RQ4 特徴のパラメトリック最適化は、モデルの性能と解釈可能性にどのような影響を与えるか？
• RQ5 実世界の材料科学応用において、SISSOソルバーの計算効率と信頼性をどのように向上できるか？

主な発見

• 二分木表現により、生成された特徴の単位、定義域、値域を完全に制御可能となり、数値誤差を低減し、物理的整合性を確保できる。
• パラメトリックSISSOにより、特徴生成中にパラメータを最適化することで非線形モデルの発見が可能となり、熱伝導率の予測で実証された。
• マルチリジデュアル学習により、単一リジデュアルアプローチと比較してSIS部分空間サイズを90％以上削減でき、より迅速に高精度なモデルに収束する。
• 50個のリジデュアルを用いた場合、ノイズを含む二次元の合成モデルをほぼ完全に回復できたが、単一リジデュアル学習では同程度の性能を得るには400以上の特徴が必要だった。
• 分類問題における線形計画法の実装により、特に高次元の記述子空間において、ソルバーの安定性と効率性が向上した。
• SISSO++コードは、再現可能でモジュラーかつ拡張可能な記号的回帰の利用を可能にし、すべてのデータとスクリプトが公開されている。

Figure 3: A comparison of the expressions found non-parametric (a, c, and e) and parametric SISSO (b, d, and f) for a Lorentzian (a, b, e, and f) and sin (c, d) function. Blue dots represent the training data, and the red line represents the expressions found by SISSO. The parameterization scheme ei