[論文レビュー] Multimodal Foundation Models for Material Property Prediction and Discovery

Viggo Moro, Charlotte Loh+8 more|arXiv (Cornell University)|Nov 30, 2023

Grouting, Rheology, and Soil Mechanics被引用数 6

ひとこと要約

本稿では、対照的学習を用いて結晶構造、状態密度（DOS）、および電子密度を共有の潜在空間に整合させる、結晶材料向けのマルチモーダル学習（MLCM）という基盤モデルを提案する。MLCMはMaterials Projectデータセットにおいて最先端の性能を達成し、目的のDOSに一致する材料を検索することで正確な逆設計を可能にするとともに、潜在空間解析を通じて解釈可能な特徴を同定し、材料探索におけるマルチモーダル事前学習の有効性を示している。

ABSTRACT

Artificial intelligence is transforming computational materials science, improving the prediction of material properties, and accelerating the discovery of novel materials. Recently, publicly available material data repositories have grown rapidly. This growth encompasses not only more materials but also a greater variety and quantity of their associated properties. Existing machine learning efforts in materials science focus primarily on single-modality tasks, i.e. relationships between materials and a single physical property, thus not taking advantage of the rich and multimodal set of material properties. Here, we introduce Multimodal Learning for Materials (MultiMat), which enables self-supervised multi-modality training of foundation models for materials. We demonstrate our framework's potential using data from the Materials Project database on multiple axes: (i) MultiMat achieves state-of-the-art performance for challenging material property prediction tasks; (ii) MultiMat enables novel and accurate material discovery via latent space similarity, enabling screening for stable materials with desired properties; and (iii) MultiMat encodes interpretable emergent features that may provide novel scientific insights.

研究の動機と目的

• 結晶構造、状態密度（DOS）、電子密度といった複数の材料モダリティを統合し、統一された表現に変換することで、材料特性予測の性能を向上させる基盤モデルの開発を目的とする。
• 新たなニューラルアーキテクチャの開発による性能向上の停滞を克服するため、新しいマルチモーダル事前学習パラダイムを導入することを目的とする。
• ユーザーが指定する特定のDOSプロファイルに一致する予測特性を持つ材料を検索することで、逆設計を可能にする。
• 学習された潜在空間から解釈可能で物理的に意味のある特徴を抽出し、材料科学における科学的洞察を支援することを目的とする。

提案手法

• MLCMは、結晶構造にPotNetベースのアーキテクチャ、DOSにトランスフォーマー、電子密度に3次元ResNeXtを用いた3つの専用エンコーダーを備え、それぞれ128次元の埋め込みを出力する。
• モデルは、同一材料に属する異なるモダリティの埋め込みを共有の潜在空間に整合させるために、対照的学習と対照的損失関数を採用する。
• 事前学習はMaterials Projectデータセットを用い、モダリティ間の最大共通部分集合を用い、二モダリティおよび三モダリティ設定でそれぞれ121,915、89,071、78,461の材料を対象とする。
• 特性予測タスクのため、転移された結晶エンコーダーに線形ヘッドを微調整し、検証損失に基づく早期停止を適用する。
• 逆設計のため、目的のDOSが埋め込みに変換され、潜在空間内で最も近い結晶埋め込みが最良の候補材料として検索される。
• 解釈可能性は、潜在埋め込みの次元削減にUMAPを用い、明確な可視化を得るため外れ値の材料を事前に除外することで検討される。

実験結果

リサーチクエスチョン

• RQ1 結晶構造、DOS、電子密度を共有の潜在空間にマルチモーダルに統合することで、材料特性予測における一般化性能と精度が向上するか？
• RQ2 MLCMは、ユーザーが指定する特定のDOSプロファイルに一致する予測DOSを持つ材料を検索することで、正確な逆設計を可能にするか？
• RQ3 MLCMの潜在空間に学習された表現は、生成エネルギーやフェルミ準位といった材料特性に関連する解釈可能で物理的に意味のある特徴を符号化しているか？
• RQ4 複数のデータモダリティを用いたマルチモーダル事前学習は、単一モダリティ事前学習と比較して、下流タスクの予測精度と一般化性能にどのように寄与するか？

主な発見

• MLCMはMaterials Projectデータセットにおいて、回帰および分類タスクの両方で、先行手法を上回る最先端の性能を達成した。
• モデルは非常に高い精度で逆設計を実現した：特定のDOSプロファイルを標榜した場合、検索された材料の予測DOSはターゲットと極めて近く、-5から+5 eVの範囲で正規化MAEが0.027にまで低下した。
• UMAPによる潜在空間解析から、生成エネルギーおよびフェルミ準位といった意味のある物理的特性が埋め込みに符号化されていることが判明し、類似した特性を有する材料が明確なクラスタを形成することが観察された。
• より正確なバンドギャップ値を有するSNUMATデータベースへの微調整は、MLCMの事前学習済み表現が優れた一般化性能を示していることを示しており、マルチモーダルでないベースラインよりも性能が向上した。
• モデルの性能は異なるモダリティに対して安定しており、三モダリティ事前学習（結晶構造、DOS、電子密度）が最も優れた結果をもたらした。これはマルチモーダル統合の有効性を裏付けた。
• 複数モダリティを用いた対照的学習は、表現品質の向上を著しくもたらした。ゼロショット転送性能の向上と、多様な材料特性にわたる予測誤差の低減が、その効果を裏付けた。