[논문 리뷰] Efficient Structure-Informed Featurization and Property Prediction of Ordered, Dilute, and Random Atomic Structures

Adam M. Krajewski, Jonathan W. Siegel외 1명|arXiv (Cornell University)|2024. 04. 03.

Machine Learning in Materials ScienceMaterials Science인용 수 3

한 줄 요약

이 논문은 순서 정렬된, 희석된, 무질서한 원자 구조 전반에 걸쳐 효율적이고 구조 정보를 반영한 특성화 및 성질 예측을 위한 오픈소스이며 모듈러한 파이썬 도구세트인 pySIPFENN을 소개한다. 대칭성과 표현 등가성(Representation Equivalency)을 활용하여 기계학습 추론 속도를 수개월에서 수십만 배까지 가속화함으로써, 최소한의 계산 비용으로 수백만 개의 구조를 고속 스크리닝할 수 있으며, 생성 에너지 예측 정확도와 모델 이식성 모두를 유지한다.

ABSTRACT

Structure-informed materials informatics is a rapidly evolving discipline of materials science relying on the featurization of atomic structures or configurations to construct vector, voxel, graph, graphlet, and other representations useful for machine learning prediction of properties, fingerprinting, and generative design. This work discusses how current featurizers typically perform redundant calculations and how their efficiency could be improved by considering (1) fundamentals of crystallographic (orbits) equivalency to optimize ordered cases and (2) representation-dependent equivalency to optimize cases of dilute, doped, and defect structures with broken symmetry. It also discusses and contrasts ways of (3) approximating random solid solutions occupying arbitrary lattices under such representations. Efficiency improvements discussed in this work were implemented within pySIPFENN or python toolset for Structure-Informed Property and Feature Engineering with Neural Networks developed by authors since 2019 and shown to increase performance from 2 to 10 times for typical inputs. Throughout this work, the authors explicitly discuss how these advances can be applied to different kinds of similar tools in the community.

연구 동기 및 목표

• 순서 정렬된, 희석된, 무질서한 다양한 구조를 포함한 다양한 재료 유형에 대해 효율적인 원자 구조 특성화를 위한 일반 목적의 오픈소스 도구세트 개발.
• 결정학적 대칭성과 표현 등가성을 활용하여 기계학습 기반 재료 성질 예측의 계산 병목 현상을 해결하고, 중복 계산을 제거함으로써 성능 향상.
• ONNX 및 모듈러 소프트웨어 아키텍처를 통해 외부 워크플로우에 특성화 도구와 훈련된 모델을 원활하게 통합할 수 있도록 지원.
• 새로운 화학 체계 또는 DFT 데이터베이스에 대해 자동 모델 조정 및 재학습을 통해 전이 학습 및 도메인 적응을 지원.
• 재료 정보학 연구 및 산업 응용 분야에서 널리 사용 가능하고 잘 문서화되고 활발히 유지 관리되는 소프트웨어 스택 제공.

제안 방법

• pySIPFENN은 NumPy와 pymatgen 기반의 모듈러 아키텍처를 구현하여 다양한 구조 유형에 대응하는 독립형이고 재사용 가능한 특성화 도구를 제공한다.
• KS2022 특성화 도구는 순서 정렬된 구조에서 대칭성 등가성을 활용하여 중복된 특성 계산을 제거함으로써 처리량을 크게 향상시킨다.
• KS2020_dilute 특성화 도구는 결함이나 도핑을 포함한 구조에서 대칭성이 깨졌을 때의 위치 등가성을 고려하여 희석 시스템에서의 계산 비용을 절감한다.
• KS2022_randomSolutions 특성화 도구는 국소 화학 환경을 수렴할 때까지 확장함으로써 랜덤 고체 용액의 효율적 특성화를 가능하게 하며, 전통적인 SQS 접근 방식의 한계를 해결한다.
• ONNX 기반 모델 내보내기 및 onnx2torch 통합을 통해 다양한 기계학습 프레임워크와 하드웨어 플랫폼에서 훈련된 모델 배포가 가능하다.
• ModelAdjusters 서브모듈은 로컬 또는 외부 DFT 데이터를 사용하여 자동으로 미세조정, 도메인 적응 및 재학습을 수행함으로써 활성 학습 및 전이 학습을 지원한다.

Figure 1: Main schematic of pySIPFENN framework detailing the interplay of internal components described in Section 2.1 . The user interface provides a high-level API to process structural data within core.Calculator , pass it to featurization submodules in descriptorDefinitions to obtain vector rep

실험 결과

연구 질문

• RQ1 결정학적 구조에서 대칭성 등가성을 어떻게 활용하여 생성 에너지 예측을 위한 기계학습 추론 속도를 가속화할 수 있는가?
• RQ2 대칭성이 깨진 희석 또는 결함을 포함한 구조를 특성화할 때 계산 비용과 정확도 사이의 상호 보완적 관계는 어떠한가?
• RQ3 복잡한 비스토이키오메트릭 조성의 랜덤 고체 용액을 전통적인 SQS 근사치에 의존하지 않고 효율적으로 특성화할 수 있는 방법은 무엇인가?
• RQ4 보기, 그래프, 또는 그래플릿 기반 모델과 같은 다양한 표현 유형에 대해 특성화 효율성 향상 효과가 얼마나 일반화될 수 있는가?
• RQ5 다양한 재료 과학 워크플로우에서 특성화 및 모델 배포를 지원할 수 있도록 모듈러하고 오픈소스 소프트웨어 스택을 어떻게 설계할 수 있는가?

주요 결과

• KS2022 특성화 도구는 대칭성 등가성을 활용하여 중복된 특성 계산을 제거함으로써 처리량을 크게 향상시켜 대규모 구조 데이터베이스의 신속한 스크리닝을 가능하게 한다.
• KS2022_dilute 특성화 도구는 대칭성이 깨진 상태에서 비등가 위치를 식별함으로써 결함 및 도핑 시스템에서 계산 비용을 절감하고 불필요한 특성 재계산을 방지한다.
• KS2022_randomSolutions 특성화 도구는 국소 화학 환경 샘플링을 수렴할 때까지 확장함으로써 대표적인 고체 용액 구조에 도달할 수 있도록 하여, 전방 및 역방향 기계학습 워크플로우에서 SQS의 한계를 극복한다.
• pySIPFENN은 ONNX를 통해 원활한 모델 배포를 지원하며, PyTorch 및 기타 프레임워크와의 통합이 가능하고, 가중치 정밀도 감소 및 그래프 최적화를 통해 저메모리 환경에서도 배포가 가능하다.
• 소프트웨어는 커뮤니티 워크숍을 통한 검증, 활발한 유지 보수, ESPEI 및 pycalphad와의 통합을 통해 열역학 모델링 및 재료 설계 분야에서 실제 응용 가능성을 입증했다.
• 이 도구세트는 반복적인 전이 학습 및 도메인 적응을 지원하며, OPTIMADE 액세스를 통해 새로운 화학 체계 또는 DFT 데이터베이스에 대해 모델을 신속히 재학습할 수 있다.

Figure 2: Schematic of the general-purpose KS2022 featurization routine with built-in optimization for ordered structures. First, the atomic structure (in pymatgen Structure object format [ 32 ] ) is loaded, and sites in it are annotated with their crystallographic orbits using spglib [ 58 ] . Then,