[論文レビュー] Reproducibility in high-throughput density functional theory: a comparison of AFLOW, Materials Project, and OQMD

Vinay I. Hegde, Christopher K. H. Borg+8 more|arXiv (Cornell University)|Jul 4, 2020

Machine Learning in Materials Science被引用数 5

ひとこと要約

本研究では、同一の結晶構造を用いて、AFLOW、Materials Project、OQMDの3つのハイドロタス・DFTデータベースにおける生成エネルギー、バンドギャップ、体積、磁化の比較を実施した。バンドギャップおよび磁化に関して顕著な再現性の課題が明らかとなり、磁化では最大15%の差異が観察された。これは、擬ポテンシャル、DFT+U、基準状態の違いに起因しており、HT-DFTワークフローにおける標準化の必要性を示唆している。

ABSTRACT

A central challenge in high throughput density functional theory (HT-DFT) calculations is selecting a combination of input parameters and post-processing techniques that can be used across all materials classes, while also managing accuracy-cost tradeoffs. To investigate the effects of these parameter choices, we consolidate three large HT-DFT databases: Automatic-FLOW (AFLOW), the Materials Project (MP), and the Open Quantum Materials Database (OQMD), and compare reported properties across each pair of databases for materials calculated using the same initial crystal structure. We find that HT-DFT formation energies and volumes are generally more reproducible than band gaps and total magnetizations; for instance, a notable fraction of records disagree on whether a material is metallic (up to 7%) or magnetic (up to 15%). The variance between calculated properties is as high as 0.105 eV/atom (median relative absolute difference, or MRAD, of 6%) for formation energy, 0.65 A$^3$/atom (MRAD of 4%) for volume, 0.21 eV (MRAD of 9%) for band gap, and 0.15 $\mu_{ m B}$/formula unit (MRAD of 8%) for total magnetization, comparable to the differences between DFT and experiment. We trace some of the larger discrepancies to choices involving pseudopotentials, the DFT+U formalism, and elemental reference states, and argue that further standardization of HT-DFT would be beneficial to reproducibility.

研究の動機と目的

• 同一の入力構造を前提とした場合、主要なデータベース間でハイドロタスDFT（HT-DFT）計算の再現性がどの程度達成されるかを評価すること。
• 生成エネルギー、体積、バンドギャップ、全磁化といった計算された性質における変動の主な要因を同定すること。
• 特に擬ポテンシャル、DFT+U、元素の基準状態といった入力パrameterの選択が、性質の再現性に与える影響を評価すること。
• 実験誤差およびDFTと実験の差異と比較して、データベース間の差異の大きさを定量化すること。
• HT-DFTの信頼性と比較可能性を向上させるために、HT-DFTプラットフォーム全体における標準化プロトコルの導入を提言すること。

提案手法

• AFLOW、Materials Project（MP）、Open Quantum Materials Database（OQMD）の3つの大規模なHT-DFTデータベースを統合し、同一の初期結晶構造を持つ材料に焦点を当てた。
• 3つのデータベース間で、生成エネルギー、体積、バンドギャップ、全磁化といった計算された性質を対比較した。
• 相対的絶対差の中央値（MRAD）を用いて差異を定量化し、MRADはすべての材料ペアについて |x_i - y_i| / |x_i| の中央値として定義された。
• 差異の原因を、擬ポテンシャルの種別、DFT+U補正の有無、元素の基準状態の定義といった、特定の手法的選択にさかのぼって特定した。
• 再現性の限界を文脈づけるために、実験値および既知のDFT-実験差異と比較して、差異の大きさを評価した。
• 統計的分析を用いて、データベース間で矛盾する予測（例：金属的 vs. 半導体的、磁性体 vs. 非磁性体）がどれほど頻発するかを評価した。

実験結果

リサーチクエスチョン

• RQ1 同一の結晶構造から出発した場合、AFLOW、MP、OQMDにおけるハイドロタスDFT計算による生成エネルギー、体積、バンドギャップ、全磁化の再現性はどの程度か？
• RQ2 擬ポテンシャル、DFT+U、元素の基準状態といった要因が、HT-DFT結果の変動に与える主な影響は何か？
• RQ3 予測された電子的および磁気的性質（例：金属的・非金属的、磁化）における差異が、HT-DFTデータベースの信頼性にどの程度影響を及えるか？
• RQ4 計算された性質の観察された差異は、DFTと実験との間の一般的な差異と比較してどの程度か？
• RQ5 HT-DFTプラットフォーム全体で信頼的かつ一貫性のある結果を得るためには、入力パrameterのどの程度の標準化が必要か？

主な発見

• 生成エネルギーは中程度の再現性を示し、MRADは6%であり、0.105 eV/atomまでのばらつきを示している。
• 体積はバンドギャップよりも再現性が高く、MRADは4%で、最大0.65 ų/atomのばらつきを示している。
• バンドギャップは高いばらつきを示し、MRADは9%で、最大0.21 eVの差異を示しており、データベース間での一貫性が乏しいことが判明した。
• 全磁化は顕著な不一致を示し、MRADは8%であり、最大15%の材料が磁性体・非磁性体として異なる分類を受けている。
• 金属的性質の予測が、最大7%の材料でデータベース間で食い違い、電子構造予測の不安定性が浮き彫りになった。
• 差異の大部分は、擬ポテンシャルの選択、DFT+Uの実装、元素の基準状態の定義の違いに起因している。