[논문 리뷰] Robust recognition and exploratory analysis of crystal structures via Bayesian deep learning

Andreas Leitherer, Angelo Ziletti외 1명|arXiv (Cornell University)|2021. 03. 17.

Machine Learning in Materials Science참고 문헌 71인용 수 44

한 줄 요약

이 논문은 108개의 구조적 클래스(체계, 2차원, 1차원 물질 포함)에 걸쳐 구조적 노이즈에 민감하지 않고 임계값에 의존하지 않는 강건한 결정 구조 인식을 위한 베이지안 딥러닝 프레임워크인 ARISE를 소개한다. 이상적인 결정 구조만으로 훈련된 ARISE는 시뮬레이션과 실험에서 유해한 단일 및 다결정계 시스템을 정확하게 분류할 뿐 아니라 전자 톰로그라피 데이터에서 결정성 질서와 관련된 원리적인 불확실성 추정치를 제공한다.

ABSTRACT

Due to their ability to recognize complex patterns, neural networks can drive a paradigm shift in the analysis of materials science data. Here, we introduce ARISE, a crystal-structure identification method based on Bayesian deep learning. As a major step forward, ARISE is robust to structural noise and can treat more than 100 crystal structures, a number that can be extended on demand. While being trained on ideal structures only, ARISE correctly characterizes strongly perturbed single- and polycrystalline systems, from both synthetic and experimental resources. The probabilistic nature of the Bayesian-deep-learning model allows to obtain principled uncertainty estimates, which are found to be correlated with crystalline order of metallic nanoparticles in electron tomography experiments. Applying unsupervised learning to the internal neural-network representations reveals grain boundaries and (unapparent) structural regions sharing easily interpretable geometrical properties. This work enables the hitherto hindered analysis of noisy atomic structural data from computations or experiments.

연구 동기 및 목표

• 구조적 노이즈에 민감하지 않고 수동적인 허용 오차 파rameter에 의존하지 않는 확장성 있고 강건한 결정 구조 식별 방법을 개발하는 것.
• 기존 방법의 제한된 범위를 초월해 1차원, 2차원, 체계 물질을 포함한 광범위한 결정 구조를 분류할 수 있도록 하는 것.
• 예측에 대해 원리적인 불확실성 추정치를 제공함으로써 결정성 질서와 데이터 품질을 평가하는 데 사용할 수 있도록 하는 것.
• 내부 신경망 표현의 비지도 학습을 통해 원자 구조의 탐색적 분석을 가능하게 하는 것.
• 복잡한 노이즈가 많거나 결함이 있는 나노구조를 다룰 때 전통적인 대칭 기반 및 국소 구조 기반 방법의 한계를 극복하는 것.

제안 방법

• 원자 구조를 회전, 이동, 순열 불변 벡터로 인코딩하기 위해 원자 위치의 부드러운 중첩(Smooth Overlap of Atomic Positions, SOAP) 기술자를 사용한다.
• SOAP 기술자를 기반으로 구조를 분류하기 위해 완전 연결 신경망(다층 퍼셉트론)을 활용한다.
• 예측뿐만 아니라 근사 후행 추론을 통해 校정된 불확실성 추정치를 제공하기 위해 베이지안 신경망(Bayesian neural networks, BNNs)을 적용한다.
• 예측 불확실성을 추정하기 위해 추론 시 몬테카를로 드롭아웃을 활용하여 가우시안 프로세스 불확실성에 근사한다.
• 내부 신경망 표현의 비지도 학습(군집화 및 차원 축소)을 적용하여 격자 경계나 구조적으로 다른 영역과 같은 숨겨진 구조적 패턴을 발견한다.
• 모델을 이상적인 결정 구조만으로 훈련하여 노이즈가 많거나 변형된 실험적으로 복원된 시스템으로의 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 이상적인 결정 구조만으로 훈련된 딥러닝 모델이 노이즈가 많거나 실험적으로 복원된, 또는 결함이 있는 원자 구조로도 강력하게 일반화할 수 있는가?
• RQ2 베이지안 불확실성 추정치가 전자 톰로그라피에서 관찰된 금속 나노입자의 결정성 질서와 같은 물리적 척도와 얼마나 잘 상관되는가?
• RQ3 내부 신경망 표현의 비지도 분석을 통해 격자 경계나 준안정 상과 같은 숨겨진 구조적 특징을 드러낼 수 있는가?
• RQ4 모델이 아키텍처나 하이퍼파rameter 재설계 없이도 복잡한 비체계 결정 구조(예: 1차원 나노튜브, 2차원 물질)를 얼마나 잘 분류할 수 있는가?
• RQ5 베이지안 모델에서 도출된 불확실성 출력이 모델의 과도한 자신감이 아닌 실제 데이터 품질과 구조적 불규칙성을 반영하는가?

주요 결과

• ARISE는 이상적인 구조만으로 훈련되었음에도 불구하고 108개의 서로 다른 결정 구조(1차원, 2차원, 체계 물질 포함)를 성공적으로 분류한다.
• 모델은 합성 및 실험적 원천에서 유래한 강하게 변형된 단일 및 다결정계 시스템에서도 높은 정확도를 유지하며, 원자 전자 톰로그라피 데이터를 포함한다.
• 베이지안 모델에서 도출된 예측 불확실성 추정치는 전자 톰로그라피로 검증된 금속 나노입자에서의 결정성 질서 정도와 강하게 상관된다.
• 내부 신경망 표현의 비지도 분석을 통해 기하학적 성질이 해석 가능한 격자 경계와 구조적으로 다른 영역을 드러낸다.
• 이 방법은 전통적인 국소 구조 기반 또는 공간군 기반 방법이 인식하지 못하는 복잡한 나노구조(예: 나노튜브)로의 일반화가 가능하다.
• 불확실성 추정치는 신뢰할 수 있으며 물리적 불규칙성을 반영하여 외부 기준 없이도 데이터 품질 평가가 가능하다.