[논문 리뷰] Reproducibility in high-throughput density functional theory: a comparison of AFLOW, Materials Project, and OQMD

Vinay I. Hegde, Christopher K. H. Borg외 8명|arXiv (Cornell University)|2020. 07. 04.

Machine Learning in Materials Science인용 수 5

한 줄 요약

이 연구는 동일한 결정 구조를 기반으로 삼고 있는 고속 DFT 데이터베이스 세 곳—AFLOW, Materials Project, OQMD—사이에서 생성 에너지, 밴드 갭, 부피, 자화도를 비교한다. 이는 특히 밴드 갭과 자화도에서 뚜렷한 재현성 문제를 드러내며, 이는 허위전자, DFT+U, 기준 상태의 차이로 인해 발생한다. 이는 HT-DFT 워크플로우에서 표준화의 필요성을 강조한다.

ABSTRACT

A central challenge in high throughput density functional theory (HT-DFT) calculations is selecting a combination of input parameters and post-processing techniques that can be used across all materials classes, while also managing accuracy-cost tradeoffs. To investigate the effects of these parameter choices, we consolidate three large HT-DFT databases: Automatic-FLOW (AFLOW), the Materials Project (MP), and the Open Quantum Materials Database (OQMD), and compare reported properties across each pair of databases for materials calculated using the same initial crystal structure. We find that HT-DFT formation energies and volumes are generally more reproducible than band gaps and total magnetizations; for instance, a notable fraction of records disagree on whether a material is metallic (up to 7%) or magnetic (up to 15%). The variance between calculated properties is as high as 0.105 eV/atom (median relative absolute difference, or MRAD, of 6%) for formation energy, 0.65 A$^3$/atom (MRAD of 4%) for volume, 0.21 eV (MRAD of 9%) for band gap, and 0.15 $\mu_{ m B}$/formula unit (MRAD of 8%) for total magnetization, comparable to the differences between DFT and experiment. We trace some of the larger discrepancies to choices involving pseudopotentials, the DFT+U formalism, and elemental reference states, and argue that further standardization of HT-DFT would be beneficial to reproducibility.

연구 동기 및 목표

• 동일한 입력 구조를 기반으로 하더라도 주요 데이터베이스 간 고속 DFT(HT-DFT) 계산의 재현성 평가.
• 생성 에너지, 부피, 밴드 갭, 총 자화도와 같은 계산된 성질의 변동 원인 규명.
• 특히 허위전자, DFT+U, 원소 기준 상태와 같은 입력 파rameter 선택이 성질 재현성에 미치는 영향 평가.
• 실험 오차 및 DFT-실험 차이와 비교하여 데이터베이스 간 격리된 차이의 크기 정량화.
• HT-DFT의 신뢰성과 비교 가능성 향상을 위해 표준화된 프로토콜 도입 촉구.

제안 방법

• AFLOW, Materials Project(MP), Open Quantum Materials Database(OQMD)의 대규모 고속 DFT 데이터베이스를 통합하여 동일한 초기 결정 구조를 가진 자료에 집중.
• 세 데이터베이스 간 계산된 성질(생성 에너지, 부피, 밴드 갭, 총 자화도)의 쌍별 비교 수행.
• 차이를 정량화하기 위해 중앙상대절대오차(MRAD) 계산. MRAD는 모든 물질 쌍에 대해 |x_i - y_i| / |x_i| 의 중앙값으로 정의됨.
• 허위전자 유형, DFT+U 보정 포함 여부, 원소 기준 상태 정의 등 특정 방법론적 선택 사항으로 인한 차이 추적.
• 실험 값과 알려진 DFT-실험 편차와 비교하여 재현성 한계를 맥락화하기 위해 차이의 크기 평가.
• 통계적 분석을 통해 데이터베이스 간 모순 예측 빈도 평가(예: 금속성 대 비금속성, 자성 대 비자성).

실험 결과

연구 질문

• RQ1 동일한 결정 구조에서 출발할 때 AFLOW, MP, OQMD 간 고속 DFT로 계산된 생성 에너지, 부피, 밴드 갭, 총 자화도의 재현성은 어느 정도인가?
• RQ2 특히 허위전자, DFT+U, 원소 기준 상태와 관련하여 HT-DFT 결과의 주요 변동 원인은 무엇인가?
• RQ3 예측된 전자적 및 자성 성질(예: 금속성, 자화도)의 차이가 HT-DFT 데이터베이스의 신뢰성에 어느 정도 영향을 미치는가?
• RQ4 계산된 성질의 관측된 차이가 일반적으로 DFT와 실험 간의 편차와 비교하여 어떻게 평가되는가?
• RQ5 HT-DFT 플랫폼 간 신뢰성 있고 일관된 결과를 얻기 위해 입력 파rameter의 어느 수준의 표준화가 필요한가?

주요 결과

• 생성 에너지는 중앙상대절대오차(MRAD)가 6%로 중간 수준의 재현성 보이며, 이는 최대 0.105 eV/atom의 분산에 해당한다.
• 부피는 밴드 갭보다 더 높은 재현성을 보이며, MRAD는 4%이고 최대 0.65 ų/atom의 분산이 있다.
• 밴드 갭은 높은 변동성을 보이며, MRAD는 9%이고 최대 0.21 eV의 차이가 발생하여 데이터베이스 간 일관성이 떨어짐.
• 총 자화도는 상당한 이견을 보이며, MRAD는 8%이고 최대 15%의 물질가 자성 또는 비자성으로 다르게 분류됨.
• 금속성 예측은 최대 7%의 물질에서 데이터베이스 간 이견을 보이며 전자 구조 예측의 불안정성 강조.
• 이러한 이견은 주로 허위전자 선택, DFT+U 구현 방식, 원소 기준 상태 정의의 차이로 인한 것으로 규명됨.