[논문 리뷰] Crystal Transformer: Self-learning neural language model for Generative and Tinkering Design of Materials

Lai Wei, Qinyang Li외 5명|arXiv (Cornell University)|2022. 04. 25.

Machine Learning in Materials Science인용 수 7

한 줄 요약

이 논문은 무기재료 설계를 위한 자기학습형, 확률적 생성 모델인 Crystal Transformer를 소개한다. 이 모델은 빈칸 채우기 언어 모델 아키텍처를 기반으로 하며, 단지 40,000개의 화학식으로부터 '재료 문법'을 학습함으로써 화학적으로 타당한 재료를 해석 가능하고 데이터 효율적으로 생성할 수 있다. 이는 전하 중성도 89.7%와 전기음성도 균형 84.8%를 달성하여 랜덤 샘플링 대비 4배 이상, 8배 이상 향상된 성능을 보인다.

ABSTRACT

Self-supervised neural language models have recently achieved unprecedented success, from natural language processing to learning the languages of biological sequences and organic molecules. These models have demonstrated superior performance in the generation, structure classification, and functional predictions for proteins and molecules with learned representations. However, most of the masking-based pre-trained language models are not designed for generative design, and their black-box nature makes it difficult to interpret their design logic. Here we propose BLMM Crystal Transformer, a neural network based probabilistic generative model for generative and tinkering design of inorganic materials. Our model is built on the blank filling language model for text generation and has demonstrated unique advantages in learning the "materials grammars" together with high-quality generation, interpretability, and data efficiency. It can generate chemically valid materials compositions with as high as 89.7\% charge neutrality and 84.8\% balanced electronegativity, which are more than 4 and 8 times higher compared to a pseudo random sampling baseline. The probabilistic generation process of BLMM allows it to recommend tinkering operations based on learned materials chemistry and makes it useful for materials doping. Combined with the TCSP crysal structure prediction algorithm, We have applied our model to discover a set of new materials as validated using DFT calculations. Our work thus brings the unsupervised transformer language models based generative artificial intelligence to inorganic materials. A user-friendly web app has been developed for computational materials doping and can be accessed freely at \url{www.materialsatlas.org/blmtinker}.

연구 동기 및 목표

• 기존 딥러닝 모델의 투명성 부족 문제를 해결하기 위해 무기재료를 위한 생성형 AI 모델을 개발하는 것.
• 라벨이 없는 조성 데이터로부터 '재료 문법'을 학습함으로써 해석 가능하고 데이터 효율적인 재료 설계를 가능하게 하는 것.
• 설명 가능한 규칙 기반 생성 단계를 통해 생성 설계와 재료 수정(예: 도핑)을 둘 다 지원하는 것.
• 인간의 레이블링 데이터가 최소한으로 필요한 높은 품질의 화학적으로 타당한 조성물을 생성하는 것. 이는 단백질이나 분자 모델이 수백만 개의 샘플이 필요로 하는 것과는 대조된다.
• 첫 원리 DFT 계산을 통해 모델 예측을 검증하고, 새로운 재료 발견에의 실용성을 입증하는 것.

제안 방법

• 무기재료 조성의 문법적 및 의미적 규칙을 학습하기 위해, 빈칸 채우기(마스킹 언어 모델링) 기반 트랜스포머 아키텍처를 재료 설계에 적응시킨다.
• 라벨 없이도 원시적인 재료 화학식만을 사용하여 자기학습 방식으로 학습하며, 다음 토큰 예측을 통해 '재료 문법'을 학습한다.
• 학습된 화학 규칙에 기반한 설명과 함께, 치환 또는 도핑 조치를 추천하기 위해 확률적 생성 단계를 사용한다.
• 6개의 레이어, 8개의 어텐션 헤드, 2048차원의 히든 레이어를 가진 트랜스포머 기반 신경망을 사용하며, 기본 학습률 0.0001로 Adam 최적화를 수행한다.
• 생성된 샘플에 대해 전하 중성도(CN)와 전기음성도 균형(EN) 등의 지표를 사용해 모델 성능을 평가한다.
• 10% 테스트 세트에서 형성 에너지(MAE: 70.181 eV)와 금속 간격(_bandgap_(MAE: 0.6645 eV) 예측을 위해 Roost라는 그래프 신경망 모델을 사용하여 모델 출력을 검증한다.

실험 결과

연구 질문

• RQ1 자기학습형, 빈칸 채우기 트랜스포머 모델이 최소한의 데이터로 화학적으로 의미 있는 '재료 문법'을 학습할 수 있는가?
• RQ2 모델의 생성 성능가지 전하 중성도와 전기음성도 균형 측면에서, 무작위 샘플링이나 다른 생성 모델 대비 어떻게 비교되는가?
• RQ3 설명 가능한 생성 단계를 통해 모델이 얼마나 해석 가능한 재료 설계 및 수정(예: 도핑)을 지원할 수 있는가?
• RQ4 모델의 생성 품질과 안정성에 영향을 미치는 주요 하이퍼파라미터(예: 레이어 수, 어텐션 헤드 수, 히든 사이즈)는 무엇인가?
• RQ5 모델이 첫 원리 DFT 계산을 통해 검증된 새로운 재료를 발견할 수 있는가?

주요 결과

• Crystal Transformer는 생성된 재료 조성에서 전하 중성도 89.7%와 전기음성도 균형 84.8%를 달성하였으며, 개선된 랜덤 샘플링 대비 각각 400% 이상, 800% 이상 향상되었다.
• 단지 40,000개의 학습 화학식만으로도 화학적으로 타당한 조성을 생성하여, 수백만 개의 샘플로 학습하는 기존 모델 대비 매우 높은 데이터 효율성을 입증하였다.
• 하이퍼파라미터 튜닝 결과, 최적의 성능는 6개의 트랜스포머 레이어, 8개의 어텐션 헤드, 2048개의 히든 유닛, 드롭아웃 0.3, 학습률 0.0001에서 달성되었다.
• 동일한 벤치마크에서 관련 모델(LBLM 및 INST)보다 전하 중성도(85.85%)와 전기음성도 균형(82.63%) 모두에서 뛰어난 성능을 보였다.
• 생성된 조성물에 기반한 Roost 모델은 형성 에너지 예측에서 평균 절대 오차(MAE) 70.181 eV, 금속 간격 예측에서 MAE 0.6645 eV를 기록하였다.
• 모델은 DFT 계산을 통해 검증된 새로운 재료 조성을 성공적으로 생성하였으며, 이는 본 접근법의 실용적 유용성을 확인하는 데 기여하였다.