[논문 리뷰] Scalable Diffusion for Materials Generation

Mengjiao Yang, KwangHwan Cho외 5명|arXiv (Cornell University)|2023. 10. 18.

Machine Learning in Materials Science인용 수 24

한 줄 요약

그들은 UniMat을 도입한다, 확산 모델을 위한 통일된 결정 격자 표현으로 대규모 재료 데이터셋에 확장 가능하고 DFT로 검증된 안정적인 물질을 산출하며 이전 그래프 기반 방법보다 성능이 우수하다.

ABSTRACT

Generative models trained on internet-scale data are capable of generating novel and realistic texts, images, and videos. A natural next question is whether these models can advance science, for example by generating novel stable materials. Traditionally, models with explicit structures (e.g., graphs) have been used in modeling structural relationships in scientific data (e.g., atoms and bonds in crystals), but generating structures can be difficult to scale to large and complex systems. Another challenge in generating materials is the mismatch between standard generative modeling metrics and downstream applications. For instance, common metrics such as the reconstruction error do not correlate well with the downstream goal of discovering stable materials. In this work, we tackle the scalability challenge by developing a unified crystal representation that can represent any crystal structure (UniMat), followed by training a diffusion probabilistic model on these UniMat representations. Our empirical results suggest that despite the lack of explicit structure modeling, UniMat can generate high fidelity crystal structures from larger and more complex chemical systems, outperforming previous graph-based approaches under various generative modeling metrics. To better connect the generation quality of materials to downstream applications, such as discovering novel stable materials, we propose additional metrics for evaluating generative models of materials, including per-composition formation energy and stability with respect to convex hulls through decomposition energy from Density Function Theory (DFT). Lastly, we show that conditional generation with UniMat can scale to previously established crystal datasets with up to millions of crystals structures, outperforming random structure search (the current leading method for structure discovery) in discovering new stable materials.

연구 동기 및 목표

• 그래프 기반 명시 구조 모델을 넘어서 확장 가능한 새로운 물질 생성을 동기 부여한다.
• 어떤 결정 구조든 확산 모델링을 가능하게 하는 고정 크기의 4D 텐서로 UniMat을 제안한다.
• UniMat을 이용한 확산이 수백만 개의 결정으로 확장되며 DFT로 검증된 안정성 개선을 산출함을 보여준다.
• 다운스트림 물질 발견과 일치하는 지표를 개발한다(DFT 형성에너지 및 볼록 껍질 분해).
• 조건부 생성에서 제로샷 일반화와 무작위 구조 탐색에 비한 효율성 향상을 시연한다.

제안 방법

• UniMat을 제안한다: 원소별 원자 위치를 주기표 정렬 격자에서 포착하는 4D 표현 M = R^{L x H x W x 3}.
• 부분좌표를 사용할 때 선택적 단위 셀 매개변수로 결정 구조를 표현하고, 임의의 원자 수를 허용하기 위해 널 위치를 포함한다.
• 확산 노이즈 제거 모델에서 원자 간 관계를 학습하기 위해 L, H, W에 걸쳐 교차 배치된 어텐션과 컨볼루션 계층을 적용한다.
• UniMat에서 무조건적 및 구성 조건 가능 노이즈 제거 확산 모델을 훈련한다; 조건 정보를 노이즈 입력과 연결해 사용한다.
• 구성 c에 대한 조건부 생성을 enabling하여 구조 생성을 안내하고 보조 정보를 반영하기 위해 classifier-free 가이드를 적용한다.
• 생성된 물질을 엄밀히 검증하기 위해 DFT 이완(형성 에너지 E_f 및 볼록 껍질에 대한 분해 에너지 E_d)을 사용한다.

Figure 1 : UniMat representation of crystal structures. Crystals are represented by the atom locations stored at the corresponding elements in the periodic table (and additional unit cell parameters if coordinates are fractional). For instance, the bottom right atom Na in the crystal is located at $

실험 결과

연구 질문

• RQ1 통합 결정 표현을 사용할 때 명시적 그래프 구조 없이도 확산 모델이 원자 간 관계를 효과적으로 포착할 수 있는가?
• RQ2 UniMat이 크고 복잡한 물질 데이터세트로 확장되고 그래프 기반 방법에 비해 DFT- 검증된 안정성을 향상시키는가?
• RQ3 목표 구성에 대한 조건부 UniMat 생성이 얼마나 잘 작동하며 무작위 탐색에 비해 구조 발견을 가속화할 수 있는가?
• RQ4 생성된 물질 품질을 다운스트림 합성 및 안정성 결과와 가장 잘 정렬시키는 새로운 평가 지표는 무엇인가?
• RQ5 제로샷 일반화가 가능하여 조건부 생성이 학습 매니폴드 밖의 구조를 생성할 수 있는가?

주요 결과

• UniMat은 여러 데이터셋에 걸쳐 안정성 및 형성 에너지에 대한 DFT 기반 지표에서 기존 그래프 기반 접근법을 능가한다.
• DFT 기반 평가에서 UniMat이 구성당 형성 에너지를 더 낮게 생성하고 CDVAE보다 안정한 물질의 비율이 더 높음을 보인다.
• UniMat의 무조건적 및 조건부 생성을 혼합하면 볼록 껍질 벤치마크(MP 2021 및 GNoME)에서 더 안정적이거나 준안정적 물질이 대폭 더 많이 생성된다.
• 주어진 구성에 대해 조건부 UniMat 생성이 AIRSS 수렴 속도를 개선하고 제로샷 설정에서 AIRSS보다 더 낮은 형성 에너지를 달성한다.
• UniMat 내의 모델 확장은 MP-20과 같은 복잡한 데이터세트에서 더 나은 타당성과 커버리지를 산출한다.

Figure 2 : Illustration of the denoising process for unconditional generation with UniMat. The denoising model learns to move atoms from random locations back to their original locations. Atoms not present in the crystal are moved to the null location during the denoising process, allowing crystals