[論文レビュー] Materials Informatics Transformer: A Language Model for Interpretable Materials Properties Prediction

Hongshuo Huang, Rishikesh Magar+2 more|arXiv (Cornell University)|Aug 30, 2023

Machine Learning in Materials ScienceMaterials Science被引用数 3

ひとこと要約

本稿では、結晶学的情報（特に空間群対称性）をテキストに類似したシーケンスにトークン化することで、物性を予測するトランスフォーマー基盤の言語モデルであるMaterials Informatics Transformer (MatInFormer) を紹介する。14のデータセットにおいて最先端の性能を達成し、アテンション可視化による解釈可能性を提供する。構造に依存しないメモリ使用量を維持する点で、GNN や他のモデルよりも高スループットスクリーニングにおいて優れている。

ABSTRACT

Recently, the remarkable capabilities of large language models (LLMs) have been illustrated across a variety of research domains such as natural language processing, computer vision, and molecular modeling. We extend this paradigm by utilizing LLMs for material property prediction by introducing our model Materials Informatics Transformer (MatInFormer). Specifically, we introduce a novel approach that involves learning the grammar of crystallography through the tokenization of pertinent space group information. We further illustrate the adaptability of MatInFormer by incorporating task-specific data pertaining to Metal-Organic Frameworks (MOFs). Through attention visualization, we uncover the key features that the model prioritizes during property prediction. The effectiveness of our proposed model is empirically validated across 14 distinct datasets, hereby underscoring its potential for high throughput screening through accurate material property prediction.

研究の動機と目的

• DFTで最適化された構造を必要としない、構造に依存しない座標フリーな物性予測手法の開発。
• 空間群および構造的情報を意味的で文法に類似したトークン化により、大規模言語モデル（LLM）を結晶材料に適用可能にする。
• アテンションメカニズムの可視化を通じて、予測に影響を与える主要な構造的特徴を同定することにより、材料機械学習における解釈性の向上。
• 構造依存の表現を回避することで、MOF などの大規模系にも計算コストを抑えながら効率的にスケーリングできるようにする。
• 標準化されたベンチマークを用いて、多様な物性にわたるモデルの一般化性能を検証する。

提案手法

• 本モデルは、空間群情報および結晶学的パラメータ（例：格子定数、体積、多孔性）を離散的トークンに符号化する新規なトークン化スキームを採用し、LLM風の処理を可能にする。
• 事前学習段階でマスク言語モデル（MLM）を採用し、化学式、対称性、構造的特徴間の関係を含む結晶学の「文法」を学習する。
• 標準的なトランスフォーマーエンコーダー構造を採用し、マルチヘッド自己注意機構を備え、[CLS]トークンが全入力トークンに注目することで回帰ヘッドによる予測を実現する。
• 物性データセットを用いたタスク特化のファインチューニングを実施し、MOF の予測性能向上を目的に、トポロジー、多孔性などのインフォマティクストークンを追加する。
• アテンション可視化を用いてモデル意思決定の解釈性を高め、特に化学式、空間群、多孔性などのトークンが予測にどの程度影響を与えているかを特定する。
• 本モデルは、JARVISデータベースに収録された大規模な物性データコロナを事前学習に用い、Matbench から得た14のベンチマークデータセットでファインチューニングを実施する。

Figure 1: Framework of Material Informatics Transformer. (a) The tokens used for representing material, including Space Group Tokens, Informatics Tokens, and Formula Tokens. The representations are tokenized and combined as the input of the Transformer model. (b) The pretrainning stage. A Large unla

実験結果

リサーチクエスチョン

• RQ1 空間群対称性などの結晶学的情報は、材料科学におけるトランスフォーマー基盤の言語モデルの入力として、効果的にトークン化可能か？
• RQ2 マスク言語モデルに基づく事前学習戦略は、構造的入力を明示的に与えずに、下流の物性予測性能を向上させられるか？
• RQ3 トポロジー、単位格子体積、多孔性などのインフォマティクストークンの導入は、MOF 物性予測性能にどのように影響を与えるか？
• RQ4 MatInFormer におけるアテンション可視化は、モデル意思決定プロセスに対する解釈可能なインサイトをどの程度提供できるか？
• RQ5 GNN や他の構造依存モデルとは異なり、MatInFormer は大規模な結晶に対しても一貫したメモリ使用量を維持し、スケーラビリティを確保できるか？

主な発見

• MatInFormer は、14の多様な物性予測タスクにおいて、CGCNN や MOFormer、Stoichiometric-120 などのモデルを上回る最先端の平均絶対誤差（MAE）性能を達成した。
• hMOF データセットにおいて、トポロジー、体積、多孔性トークンを含む MatInFormer(TVP) は、0.05 bar における CH₄ 吸着量の MAE が 0.113 ± 0.002 にまで低下し、ベースラインの CGCNN（0.028 ± 0.001）および MOFormer（0.034 ± 0.000）を顕著に上回った。
• アテンション可視化により、特定のアテンションヘッド（例：ヘッド1, 10, 12）が化学式トークンに注目し、多孔性関連トークン（例：ヘッド7, 11）やグローバルな構造的パターンに注目していることが判明し、モデルの解釈性が向上した。
• 本モデルは結晶サイズにかかわらず一定のメモリ使用量を維持しており、構造依存のモデル（例：GNN）とは異なり、スケーラビリティに優れている。
• アブレーションスタディの結果、トポロジー、体積、多孔性などのインフォマティクストークンの統合が、MOF 物性予測性能を顕著に向上させたことが判明。MatInFormer(TVP) は、全テスト条件下で最小の MAE を達成した。
• 格子定数予測の事前学習により、本モデルは結晶学的関係の本質を学習し、下流タスクにおける一般化性能の向上に寄与した。

Figure 2: t-SNE plots for two different pretrain datasets