[論文レビュー] Semiempirical Hamiltonians learned from data can have accuracy comparable to Density Functional Theory

Frank Hu, Hanqing He+1 more|arXiv (Cornell University)|Oct 21, 2022

Machine Learning in Materials Science被引用数 4

ひとこと要約

この論文では、密度汎関数タイトバインディング（DFTB）に基づき、原子間距離の一次元関数として学習可能な関数を備えた機械学習拡張半経験的量子化学モデル、DFTBMLを紹介する。これらの関数をデータ駆動的最適化により訓練しつつも、物理的に解釈可能な形式を維持することで、モデルはCCSD(T)*/CBSレベルの精度（約3 kcal/mol以内）を、計算コストの僅か一部で達成し、従来の半経験的手法を上回り、DFTと同等の性能を示すが、データ要件が著しく低い。

ABSTRACT

Quantum chemistry provides chemists with invaluable information, but the high computational cost limits the size and type of systems that can be studied. Machine learning (ML) has emerged as a means to dramatically lower cost while maintaining high accuracy. However, ML models often sacrifice interpretability by using components, such as the artificial neural networks of deep learning, that function as black boxes. These components impart the flexibility needed to learn from large volumes of data but make it difficult to gain insight into the physical or chemical basis for the predictions. Here, we demonstrate that semiempirical quantum chemical (SEQC) models can learn from large volumes of data without sacrificing interpretability. The SEQC model is that of Density Functional based Tight Binding (DFTB) with fixed atomic orbital energies and interactions that are one-dimensional functions of interatomic distance. This model is trained to ab initio data in a manner that is analogous to that used to train deep learning models. Using benchmarks that reflect the accuracy of the training data, we show that the resulting model maintains a physically reasonable functional form while achieving an accuracy, relative to coupled cluster energies with a complete basis set extrapolation (CCSD(T)*/CBS), that is comparable to that of density functional theory (DFT). This suggests that trained SEQC models can achieve low computational cost and high accuracy without sacrificing interpretability. Use of a physically-motivated model form also substantially reduces the amount of ab initio data needed to train the model compared to that required for deep learning models.

研究の動機と目的

• 物理的解釈可能性を維持しつつ、DFTと同等の高い精度を達成する半経験的量子化学モデルの開発。
• モデルアーキテクチャに物理的制約を組み込むことで、深層学習モデルに一般的なデータ要件を大幅に削減する。
• 物理的動機付けに基づくハミルトニアン（DFTB）における学習可能なパラメータが、解釈可能性を損なわずに化学的精度を達成できることの実証。
• 小規模なデータセット（約23,000配置）で十分に性能が飽和することを示し、モデルの形式が性能の上限を決定することを明らかにすること。

提案手法

• 原子軌道エネルギーを固定し、相互作用およびスピン密度の重なりに原子間距離の一次元関数を用いたDFTBハミルトニアンを採用。5次スプライン関数（100個のノット）を用いてパラメータ化。
• トレーニング中に非物理的振動を防ぐために、強力な正則化スキームを適用。
• C、H、N、Oからなる分子（8個までの重い原子を有する）のab initioエネルギーから成るANI-1CCXデータセットを用い、全エネルギー、双極子モーメント、電荷予測の損失関数を重み付きで組み合わせてトレーニング。
• ループ逆転を用いてバックプロパゲーションを可能に：SCFループとトレーニングループを再構成し、電荷の変動とモデル更新を勾配降下の経路外で計算することで、効率的な微分可能なSCFを実現。
• 反発ポテンシャルは10エポックごとに凸最適化により更新され、グローバル収束を保証。
• CCSD(T)*/CBSとの公平な比較のため、原子化エネルギーに線形基準エネルギー補正を適用。係数は最小二乗法フィッティングにより導出。

実験結果

リサーチクエスチョン

• RQ1 物理的動機付けに基づく形式の半経験的量子化学モデルが、ab initioデータで訓練された場合、DFTと同等の精度を達成できるか？
• RQ2 DFTBフレームワークに学習可能なスプライン関数を用いることで、深層学習モデルと比較してデータ要件を削減できるか、かつ高い精度を維持できるか？
• RQ3 物理的ハミルトニアン構造を維持することで、予測性能に悪影響を及げることなく、解釈可能性がどの程度向上するか？
• RQ4 モデルの性能は、モデル形式の制限に起因するか、それともトレーニングデータ量の制限に起因するか？

主な発見

• DFTBMLモデルは、CCSD(T)*/CBS基準データに対して約3 kcal/molの平均絶対誤差（MAE）を達成し、標準的なDFT汎関数と同等の精度を示した。
• 性能は約20,000の分子配置で飽和し、モデルの関数的形が精度の上限を決定していることが示された。
• 最適性能に到達するには約232,000の配置（深層学習モデルの約100万配置と比較）で十分であり、データ要件を顕著に削減した。
• 全エネルギー予測の外れ値率は0.05%未満であり、一般化性能の高さと安定性が裏付けられた。
• 反発ポテンシャルに凸最適化を適用することで、グローバル収束と安定したトレーニングが保証された。
• 高次スプラインと正則化を用いることで、物理的に妥当な関数的形を維持しながら、原子間相互作用に対する高い感度を達成した。