[論文レビュー] Efficient Structure-Informed Featurization and Property Prediction of Ordered, Dilute, and Random Atomic Structures

Adam M. Krajewski, Jonathan W. Siegel+1 more|arXiv (Cornell University)|Apr 3, 2024

Machine Learning in Materials ScienceMaterials Science被引用数 3

ひとこと要約

この論文は、順序付けられた、希薄な、およびランダムな原子構造の全般にわたり、効率的で構造にインformed な特徴抽出と物性予測を可能にする、オープンソースでモジュラーな Python ツールキットである pySIPFENN を紹介する。対称性と表現同等性を活用することで、機械学習推論を最大で桁違いに高速化し、計算コストを最小限に抑えながら数百万もの構造のスクリーニングを高速に実行可能にするとともに、形成エネルギー予測の高精度とモデルの移植性を維持する。

ABSTRACT

Structure-informed materials informatics is a rapidly evolving discipline of materials science relying on the featurization of atomic structures or configurations to construct vector, voxel, graph, graphlet, and other representations useful for machine learning prediction of properties, fingerprinting, and generative design. This work discusses how current featurizers typically perform redundant calculations and how their efficiency could be improved by considering (1) fundamentals of crystallographic (orbits) equivalency to optimize ordered cases and (2) representation-dependent equivalency to optimize cases of dilute, doped, and defect structures with broken symmetry. It also discusses and contrasts ways of (3) approximating random solid solutions occupying arbitrary lattices under such representations. Efficiency improvements discussed in this work were implemented within pySIPFENN or python toolset for Structure-Informed Property and Feature Engineering with Neural Networks developed by authors since 2019 and shown to increase performance from 2 to 10 times for typical inputs. Throughout this work, the authors explicitly discuss how these advances can be applied to different kinds of similar tools in the community.

研究の動機と目的

• 順序付けられた、希薄な、およびランダムな構造を含む多様な材料タイプにおける原子構造の効率的特徴抽出のための汎用的でオープンソースのツールキットの開発。
• 結晶学的対称性と表現同等性を活用することで、機械学習ベースの材料物性予測における計算ボトルネックを解消し、重複計算を排除する。
• ONNX とモジュラーなソフトウェア設計を介して、外部ワークフローへの特徴抽出器およびトレーニング済みモデルのシームレスな統合を可能にする。
• 新しい化学的システムや DFT データベースに対して、自動モデル調整および再トレーニングを提供することで、トランスファーラーニングとドメイン適応を支援する。
• 材料インフォマティクス研究および産業応用を想定した、well-documented で積極的にメンテナンスされ、広く展開可能なソフトウェアスタックの提供。

提案手法

• pySIPFENN は、NumPy および pymatgen を基盤にしたモジュラーなアーキテクチャを実装しており、異なる構造クラス向けのスタンドアロンで再利用可能な特徴抽出器を可能にする。
• KS2022 特徴抽出器は、順序構造における対称性同等性を活用し、重複する特徴計算を排除することで、処理速度を顕著に向上させる。
• KS2020_dilute 特徴抽出器は、欠陥やドーピングを含む構造における対称性の破壊下でのサイト同等性を考慮し、希薄系における計算効率を向上させる。
• KS2022_randomSolutions 特徴抽出器は、収束するまで局所的化学的環境を拡張することで、ランダム固溶体の効率的特徴抽出を可能にし、従来の SQS アプローチの制限を克服する。
• ONNX を用いたモデルエクスポートと onnx2torch 統合により、さまざまな機械学習フレームワークやハードウェアプラットフォームへのモデルデプロイが可能になる。
• ModelAdjusters サブモジュールは、ローカルまたは外部の DFT データを用いた自動微調整、ドメイン適応、再トレーニングを可能にし、アクティブラーニングおよびトランスファーラーニングを支援する。

Figure 1: Main schematic of pySIPFENN framework detailing the interplay of internal components described in Section 2.1 . The user interface provides a high-level API to process structural data within core.Calculator , pass it to featurization submodules in descriptorDefinitions to obtain vector rep

実験結果

リサーチクエスチョン

• RQ1 結晶構造における対称性同等性をどのように活用することで、形成エネルギー予測のための機械学習推論を高速化できるか？
• RQ2 対称性が破れている希薄または欠陥含有構造の特徴抽出において、計算コストと精度のトレードオフはどのようなものか？
• RQ3 従来の SQS 近似に依存せずに、複雑で非化学计量的な組成を有するランダム固溶体を、どのように効率的に機械学習用に特徴抽出できるか？
• RQ4 ボクセル、グラフ、またはグラフラットベースのモデルなどの異なる表現タイプにわたり、特徴抽出の効率向上がどの程度一般化可能か？
• RQ5 多様な材料科学ワークフローに対応するための、モジュラーでオープンソースのソフトウェアスタックをどのように設計できるか？

主な発見

• KS2022 特徴抽出器は、対称性同等性を活用して重複する特徴計算を排除することで、処理速度の顕著な向上を達成し、大規模な構造データベースの迅速なスクリーニングを可能にする。
• KS2022_dilute 特徴抽出器は、対称性が破れている状況下での非同等サイトの特定により、欠陥およびドーピング系における計算コストを低減し、不要な特徴再計算を回避する。
• KS2022_randomSolutions 特徴抽出器は、局所的化学的環境のサンプリングを収束まで拡張することで、代表的な固溶体構造に到達でき、SQS の前向きおよび逆方向の機械学習ワークフローにおける制限を克服した。
• pySIPFENN は ONNX を通じてシームレスなモデルデプロイを実現し、PyTorch などのフレームワークとの統合を可能にするとともに、重みの量子化とグラフ最適化により、低メモリ環境へのデプロイを可能にする。
• コミュニティワークショップでの検証、積極的なメンテナンス、および ESPEI や pycalphad への統合を通じて、実世界での有用性が実証され、熱力学的モデリングおよび材料設計分野での応用が確認された。
• このツールキットは、反復的トランスファーラーニングおよびドメイン適応をサポートしており、OPTIMADE を介して新しい化学的システムや DFT データベースに対して、迅速な再トレーニングが可能である。

Figure 2: Schematic of the general-purpose KS2022 featurization routine with built-in optimization for ordered structures. First, the atomic structure (in pymatgen Structure object format [ 32 ] ) is loaded, and sites in it are annotated with their crystallographic orbits using spglib [ 58 ] . Then,