[論文レビュー] Toward Accurate Interpretable Predictions of Materials Properties within Transformer Language Models

Vadim Korolev, Pavel Protsenko|arXiv (Cornell University)|Mar 21, 2023

Machine Learning in Materials ScienceMaterials Science被引用数 3

ひとこと要約

本論文は、材料を自然言語のシーケンス（例：化学組成、対称性、幾何構造）として表現し、事前学習済みのBERTに類似したモデル（MatBERT）をこれらのテキストで微調整することで、正確で解釈可能な材料物性予測のための言語モデルベースのフレームワークを提案する。このアプローチは、5つの材料物性において最先端の性能を達成し、4つの結晶グラフネットワークを上回るが、局所解釈性技術（SHAP、LIME、統合勾配）を用いて忠実で人間が読める説明を提供する。

ABSTRACT

Property prediction accuracy has long been a key parameter of machine learning in materials informatics. Accordingly, advanced models showing state-of-the-art performance turn into highly parameterized black boxes missing interpretability. Here, we present an elegant way to make their reasoning transparent. Human-readable text-based descriptions automatically generated within a suite of open-source tools are proposed as materials representation. Transformer language models pretrained on 2 million peer-reviewed articles take as input well-known terms, e.g., chemical composition, crystal symmetry, and site geometry. Our approach outperforms crystal graph networks by classifying four out of five analyzed properties if one considers all available reference data. Moreover, fine-tuned text-based models show high accuracy in the ultra-small data limit. Explanations of their internal machinery are produced using local interpretability techniques and are faithful and consistent with domain expert rationales. This language-centric framework makes accurate property predictions accessible to people without artificial-intelligence expertise.

研究の動機と目的

• 複雑でブラックボックスな表現を人間が読めるテキストに置き換えることで、材料物性予測におけるモデルの正確性と解釈可能性のトレードオフを解消すること。
• 材料固有のテキストで微調整された事前学習済み言語モデルを活用することで、最小限のラベル付きデータで正確な物性予測を実現すること。
• 複数のXAI技術（SHAP、LIME、IG、SM）をトークンレベルに適用し、モデル意思決定の忠実で局所的な解釈性を提供すること。
• 定量的な忠実性および妥当性指標を用いて、モデルが生成する根拠がドメインエキスパートの根拠と一致することを検証すること。
• テキスト中心で透明性のあるフレームワークを提供することで、AIに詳しくない非専門家に対しても高度なAI駆動の材料予測を可能にすること。

提案手法

• 材料は、標準的な用語（例：'NaCl'、'ペロブスカイト'、'立方対称性'、'八面体協下次構'）から成る自然言語シーケンスとして表現される。
• 物性予測タスクのコアアーキテクチャとして、200万件の材料科学関連論文で事前学習された微調整済みMatBERTモデルが使用される。
• 3つのバリエーションを訓練：元のトークナイザーを用いたランダムBERT、MatBERTトークナイザーを用いたランダムBERT、およびMatBERTトークナイザーを用いた事前学習済みMatBERT。
• 局所解釈性は、4つの技術（セマンティックマップSM、統合勾配IG、LIME、シャープレイ値Owen値）を用いて達成され、トークンレベルの重要度スコアが割り当てられる。
• 忠実性は、上位ランクのトークンの10%〜100%のサブセットに対して計算される、摂動曲線の面積（AOPC）を用いて、包括性と十分性の両面から評価される。
• 妥当性は、モデルが生成する根拠とエキスパートがアノテートした根拠をF1スコアおよびAUPRCで比較し、平均根拠長をk=10として評価する。

実験結果

リサーチクエスチョン

• RQ1 自然言語記述から導出されたテキストベースの材料表現は、グラフニューラルネットワークと比較して、物性予測において最先端の正確性を達成できるか？
• RQ2 局所解釈性手法（SHAP、LIME、IG、SM）は、材料科学分野のエキスパートの根拠とどの程度一致する説明を生成できるか？
• RQ3 微調整済み言語モデルは、材料物性予測の低データ環境においてどの程度一般化できるか？
• RQ4 忠実度指標（包括性および十分性）は、材料物性予測の文脈において、異なる説明手法でどのように変化するか？
• RQ5 言語中心のフレームワークは、機械学習に詳しくない人々が正確で解釈可能なAI予測を活用できるようにできるか？

主な発見

• 微調整済みMatBERTモデルは、全ラベル付きデータセットを用いた場合、テストされた5つの材料物性のうち4つで結晶グラフネットワークを上回る性能を示した。
• モデルは超小規模データ環境でも高い正確性を達成しており、最小限のラベル付き例で強力な一般化能力を示している。
• SHAP、LIME、IG、SMが生成する説明は、ドメインエキスパートの根拠と一致しており、高いF1スコア（平均F1 ≈ 0.85）とAUPRC値によって確認された。
• 包括性および十分性指標（AOPC）は、忠実度が高く、全タスクにおいてほとんどの説明手法でAOPC値が0.85を超えた。
• このアプローチにより、AIの専門知識がなくても、透明で人間が読めるモデルの推論が可能となり、材料科学者にとって高度な物性予測が利用可能になる。
• バンドギャップ分類用に訓練されたMatBERTモデルはHugging Faceで公開されており、エキスパートがアノテートしたデータセットはZenodo経由で共有されている。