[論文レビュー] Crystal Transformer: Self-learning neural language model for Generative and Tinkering Design of Materials

Lai Wei, Qinyang Li+5 more|arXiv (Cornell University)|Apr 25, 2022

Machine Learning in Materials Science被引用数 7

ひとこと要約

本論文は、無機材料設計を目的とした自己教師あり、確率的生成モデル「Crystal Transformer」を紹介する。このモデルは、空白埋め言語モデルアーキテクチャに基づくもので、40,000個の化学式からの学習により『材料文法』を習得し、89.7%の電荷中性度と84.8%の電負う度バランスを達成する。これはランダムサンプリングと比較してそれぞれ4倍以上、8倍以上の性能であり、化学的に妥当な材料の解釈可能でデータ効率の良い生成を可能にする。

ABSTRACT

Self-supervised neural language models have recently achieved unprecedented success, from natural language processing to learning the languages of biological sequences and organic molecules. These models have demonstrated superior performance in the generation, structure classification, and functional predictions for proteins and molecules with learned representations. However, most of the masking-based pre-trained language models are not designed for generative design, and their black-box nature makes it difficult to interpret their design logic. Here we propose BLMM Crystal Transformer, a neural network based probabilistic generative model for generative and tinkering design of inorganic materials. Our model is built on the blank filling language model for text generation and has demonstrated unique advantages in learning the "materials grammars" together with high-quality generation, interpretability, and data efficiency. It can generate chemically valid materials compositions with as high as 89.7\% charge neutrality and 84.8\% balanced electronegativity, which are more than 4 and 8 times higher compared to a pseudo random sampling baseline. The probabilistic generation process of BLMM allows it to recommend tinkering operations based on learned materials chemistry and makes it useful for materials doping. Combined with the TCSP crysal structure prediction algorithm, We have applied our model to discover a set of new materials as validated using DFT calculations. Our work thus brings the unsupervised transformer language models based generative artificial intelligence to inorganic materials. A user-friendly web app has been developed for computational materials doping and can be accessed freely at \url{www.materialsatlas.org/blmtinker}.

研究の動機と目的

• 既存の深層学習モデルが抱えるブラックボックス性の限界を克服する無機材料向けの生成AIモデルの開発。
• ラベルなしの組成データから学習することで『材料文法』を習得し、解釈可能でデータ効率の良い材料設計を実現すること。
• 説明可能なルールベースの生成手順により、生成的設計および材料いじり（例：ドーピング）を支援すること。
• プロテインや分子モデルが数百万件のラベル付きデータを必要とするのに対し、最小限の人為的ラベル付きデータで高品質で化学的に妥当な組成を生成すること。
• 第一原理DFT計算を用いてモデルの予測を検証し、新規材料の発見における実用性を示すこと。

提案手法

• 無機材料の組成における文法的・意味的ルールを学習するために、空白埋め（マスクド言語モデル）型Transformerアーキテクチャを適応する。
• ラベルなしのままの化学式（raw materials formulas）のみを用いて自己教師学習を実施し、次トークン予測により『材料文法』を学習する。
• 確率的生成手順を用いて、学習済みの化学的ルールに基づいた置換やドーピングの提案を説明付きで行う。
• 6層、8ヘッドのアテンション、2048次元の隠れ層を持つTransformerベースのニューラルネットワークを採用し、学習率0.0001で最適化する。
• 生成されたサンプルに対して電荷中性度（CN）と電負う度バランス（EN）といった指標を用いてモデル性能を評価する。
• 10%のテストセットにおいて、Roost（グラフニューラルネットワークモデル）を用いて生成された組成の生成エネルギー（MAE: 70.181 eV）およびバンドギャップ（MAE: 0.6645 eV）を予測し、モデル出力を検証した。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり、空白埋め型Transformerモデルは、最小限のデータから化学的に意味のある『材料文法』を学習できるか？
• RQ2 電荷中性度と電負う度バランスという観点から、本モデルの化学的に妥当な組成生成性能は、ランダムサンプリングや他の生成モデルと比較してどの程度優れているか？
• RQ3 説明可能な生成手順により、解釈可能な材料設計および材料いじり（例：ドーピング）をどの程度支援できるか？
• RQ4 ハイパーパrameter（例：層数、ヘッド数、隠れ層サイズ）のうち、生成品質および安定性に顕著な影響を与えるものは何か？
• RQ5 本モデルは、第一原理DFT計算によって検証された新規材料を発見できるか？

主な発見

• Crystal Transformerは、生成された材料組成において89.7%の電荷中性度と84.8%の電負う度バランスを達成した。これは強化されたランダムサンプリングと比較してそれぞれ400%以上、800%以上の向上である。
• 本モデルは、たった40,000件の学習化学式でのみ学習したにもかかわらず、化学的に妥当な組成を生成でき、数百万件のサンプルで学習する他のモデルと比較して極めて高いデータ効率を示した。
• ハイパーパrameterチューニングの結果、6層のTransformer、8ヘッド、2048ユニットの隠れ層、ドロップアウト率0.3、学習率0.0001の組み合わせで最適な性能が得られた。
• 同じベンチマークで、LBLMおよびINSTと比較して、電荷中性度（85.85%）および電負う度バランス（82.63%）の両面で優れた性能を示した。
• 生成された組成を学習したRoostモデルは、生成エネルギー予測で平均絶対誤差（MAE）70.181 eV、バンドギャップ予測でMAE 0.6645 eVを達成した。
• 本モデルは、DFT計算による検証を通じて、実用的であることが確認された新規材料の組成を効果的に生成した。