[논문 리뷰] Inorganic Materials Synthesis Planning with Literature-Trained Neural Networks

Edward Kim, Zach Jensen외 9명|arXiv (Cornell University)|2018. 12. 31.

Machine Learning in Materials Science참고 문헌 2인용 수 10

한 줄 요약

이 논문은 과학적 문헌에서 자연어 처리와 조건부 변동 자동에코더(CVAE)를 사용하여 무기물의 합성 경로를 예측하는 문헌 훈련을 받은 신경망 프레임워크를 제시한다. 250만 건의 재료 과학 논문으로 훈련된 모델은 퍼보스카이트에 대해 전구체 및 작동 순서를 생성하여, 선별된 83종의 ABO₃ 화합물 중 19종을 합성 가능하게 하여 열역학을 초월한 합성 경향을 학습할 수 있음을 보여준다.

ABSTRACT

Leveraging new data sources is a key step in accelerating the pace of materials design and discovery. To complement the strides in synthesis planning driven by historical, experimental, and computed data, we present an automated method for connecting scientific literature to synthesis insights. Starting from natural language text, we apply word embeddings from language models, which are fed into a named entity recognition model, upon which a conditional variational autoencoder is trained to generate syntheses for arbitrary materials. We show the potential of this technique by predicting precursors for two perovskite materials, using only training data published over a decade prior to their first reported syntheses. We demonstrate that the model learns representations of materials corresponding to synthesis-related properties, and that the model's behavior complements existing thermodynamic knowledge. Finally, we apply the model to perform synthesizability screening for proposed novel perovskite compounds.

연구 동기 및 목표

• 구성된 데이터베이스에 의존하지 않고 비정형 과학 문헌에서 합성 통찰을 추출하기 위한 일반 목적의 방법을 개발하는 것.
• 재료 과학 저널 논문에 잠재된 광범위하고 활용되지 않은 지식을 활용하여 자동 합성 계획 수립의 격차를 메우는 것.
• 텍스트에서 합성 패턴을 학습하고 새로운 재료로 일반화할 수 있는 이식 가능하고 비지도 프레임워크를 만드는 것.
• 첫 번째 원리 기반 열역학적 선별을 문헌 기반의 합성 가능성 예측으로 보완하는 것.
• 커뮤니티 수준의 재료 합성 연구를 가속화하기 위해 핵심 NLP 도구와 애너테이션된 데이터셋을 오픈소스로 제공하는 것.

제안 방법

• 250만 건의 재료 과학 저널 논문으로 훈련된 ELMo와 FastText 단어 임베딩을 사용하여 문맥 기반의 텍스트 표현을 구현한다.
• 이러한 임베딩을 기반으로 명칭 엔터티 인식(NER) 모델이 과학적 문헌에서 합성 목표물, 전구체, 작동을 식별한다.
• 조건부 변동 자동에코더(CVAE)를 사용하여 목표 재료에 조건부로 합성 경로를 전구체 및 작동 순서의 시퀀스로 모델링한다.
• CVAE는 명시적인 영역 지식 없이도 물리적·화학적 경향을 포함한 합성 경로의 잠재 표현을 학습한다.
• 학습된 잠재 공간에서 샘플링을 통해 합성 예측을 생성하며, 전구체 공식과 작동 순서를 함께 최적화한다.
• 프레임워크는 화합물당 10개의 합성 경로를 생성하고 상용 전구체가 있는지 여부로 걸러내어 합성 가능성 선별을 가능하게 한다.

실험 결과

연구 질문

• RQ1 과학 문헌만으로 훈련된 신경망이 훈련 중에 볼 수 없었던 무기물의 실현 가능한 합성 경로를 예측할 수 있는가?
• RQ2 모델이 합성 경로를 학습한 표현이 알려진 화학 원리와 실험적 경향과 얼마나 관련이 있는가?
• RQ3 1990년대 이전의 문헌만으로 훈련된 모델이 퍼보스카이트와 같은 새로운 재료로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 모델의 잠재 공간이 구조적 또는 조성적 유사성 외에도 의미 있는 합성 경로 유사성을 포착할 수 있는가?
• RQ5 문헌 기반 훈련된 모델이 첫 번째 원리 기반 열역학적 선별에 비해 합성 가능한 재료를 식별하는 데 얼마나 효과적인가?

주요 결과

• 모델은 SrZrO₃와 BaAl₂O₄의 첫 번째 보고 이전에 발표된 문헌만을 사용하여 전구체 조합을 성공적으로 예측하였다.
• CVAE는 화학 경향을 반영한 합성 경로의 잠재 표현을 학습하였으며, 예를 들어 고체상 반응에서 탄산염보다 탄화물 전구체를 선호하는 경향을 반영하였다.
• 잠재 합성 경로 기반의 유사도 메트릭은 결정 구조가 다를지라도도 물질 간에 의미 있는 연결을 식별하였다.
• 제안된 83종의 ABO₃ 퍼보스카이트 화합물 중에서 상용 전구체가 있는지 여부를 기반으로 CVAE 합성 선별에 통과한 것은 19종 뿐이었으며, 이는 실현 가능한 후보자를 효과적으로 걸러내는 데 성공했음을 보여준다.
• 모델의 예측은 탄산염을 사용하는 퍼보스카이트 합성과 같은 알려진 합성 관행과 일치하였으며, 이러한 규칙에 대해 명시적으로 훈련되지 않았음에도 불구하고 그러한 일관성을 유지하였다.
• 오픈소스로 제공된 NER 애너테이션과 임베딩은 향후 용매 및 온도 선택과 같은 더 세밀한 합성 예측 연구를 가능하게 한다.