[論文レビュー] Injecting Domain Knowledge from Empirical Interatomic Potentials to Neural Networks for Predicting Material Properties

Zeren Shui, Daniel S. Karls+4 more|arXiv (Cornell University)|Oct 14, 2022

Machine Learning in Materials Science被引用数 5

ひとこと要約

本稿では、ニューラルネットワーク（NN）ポテンシャルの汎用性を向上させるために、経験的原子間ポテンシャル（EIPs）からのドメイン知識を統合する2つの汎用的戦略——弱教師付き学習によるラベル拡張と、トランスファー学習によるマルチタスク事前学習——を提案する。ラベルなし構造とEIPエネルギーを代替ラベルとして活用することで、ベンチマークデータセット上でNN性能が最大55%向上し、両者を組み合わせることでさらなる向上が得られる。

ABSTRACT

For decades, atomistic modeling has played a crucial role in predicting the behavior of materials in numerous fields ranging from nanotechnology to drug discovery. The most accurate methods in this domain are rooted in first-principles quantum mechanical calculations such as density functional theory (DFT). Because these methods have remained computationally prohibitive, practitioners have traditionally focused on defining physically motivated closed-form expressions known as empirical interatomic potentials (EIPs) that approximately model the interactions between atoms in materials. In recent years, neural network (NN)-based potentials trained on quantum mechanical (DFT-labeled) data have emerged as a more accurate alternative to conventional EIPs. However, the generalizability of these models relies heavily on the amount of labeled training data, which is often still insufficient to generate models suitable for general-purpose applications. In this paper, we propose two generic strategies that take advantage of unlabeled training instances to inject domain knowledge from conventional EIPs to NNs in order to increase their generalizability. The first strategy, based on weakly supervised learning, trains an auxiliary classifier on EIPs and selects the best-performing EIP to generate energies to supplement the ground-truth DFT energies in training the NN. The second strategy, based on transfer learning, first pretrains the NN on a large set of easily obtainable EIP energies, and then fine-tunes it on ground-truth DFT energies. Experimental results on three benchmark datasets demonstrate that the first strategy improves baseline NN performance by 5% to 51% while the second improves baseline performance by up to 55%. Combining them further boosts performance.

研究の動機と目的

• 高精度のDFTデータが計算的に高価で限られているため、材料のニューラルネットワークポテンシャルを学習する際のラベル不足の課題に対処すること。
• 物理的整合性と計算効率に優れた経験的原子間ポテンシャル（EIPs）をドメイン知識の源として活用し、NNポテンシャルの一般化性能を向上させること。
• 追加のDFT計算を必要とせず、EIPから得られる監視信号をニューラルネットワーク学習に統合する汎用的かつ移植可能な戦略を開発すること。
• EIPが、より強固で一般化可能な機械学習ポテンシャルの訓練に高品質でスケーラブルな監視信号として機能できることを示すこと。

提案手法

• DFTラベル付きデータで学習した補助分類器を用い、各ラベルなし構造に対して最良のEIPを予測する弱教師付きラベル拡張戦略を提案。その後、EIPのエネルギーを代替ラベルとして使用する。
• ノイズや外れ値の影響を軽減するため、Robust回帰損失（Tukey損失）を用いて、DFTラベル付きおよびEIP監視付きラベルなし構造からなる拡張データセット上でNNポテンシャルを訓練する。
• 大規模なEIP予測エネルギーで事前学習したNNの表現ヘッドを、DFTラベル付きデータで微調整するマルチタスク事前学習戦略を導入する。
• モデル構造とは分離して知識統合を可能にすることで、任意のNNポテンシャルアーキテクチャに柔軟に統合可能である。
• t-SNE可視化を用いて、事前学習が学習済み表現空間における滑らかで物理的に意味のあるエネルギー面を生成することを確認する。
• Tukey損失の有効性とEIP選択の性能への影響を検証するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 DFTラベル付きデータが限られている状況下で、経験的原子間ポテンシャル（EIPs）が効果的でスケーラブルな監視信号として機能するか。
• RQ2 EIP予測を用いた弱教師付きラベル拡張は、DFTデータのみで学習する場合と比較して、NNポテンシャルの一般化性能をどの程度向上させるか。
• RQ3 EIPエネルギーで行うマルチタスク事前学習は、NNポテンシャルの表現能力と最終的な性能をどの程度向上させるか。
• RQ4 両戦略を組み合わせることで、多様な物質系において予測精度に相乗効果が得られるか。
• RQ5 ノイズが多いまたは不正確なEIP予測に対して、本手法はどの程度頑健か。また、その問題を最も効果的に緩和する損失関数は何か。

主な発見

• ラベル拡張戦略により、3つのベンチマークデータセットでベースラインNN性能が5%から51%まで向上し、代替EIPラベルでも顕著な向上が確認された。
• マルチタスク事前学習戦略により、ベースライン性能が最大55%向上し、EIPエネルギーで事前学習することで一般化性能と表現品質が向上することが示された。
• 両戦略を組み合わせることでさらなる性能向上が得られ、弱教師学習と表現事前学習の相乗効果が確認された。
• アブレーションスタディにより、Tukey損失がノイズや外れ値のあるEIP予測の影響を効果的に低減することが示され、MSE損失を用いた場合に性能が低下することが確認された。
• t-SNE可視化により、マルチタスク事前学習が潜在空間における滑らかで構造的で物理的に意味のあるエネルギー面を生成することが確認され、バルク構造とクラスタ構造の明確なクラスタリングが観察された。
• 本手法は汎用的であり、Si、Al、ANI-1データセットなど複数のデータセットに適用可能で、SchNetやSOAPNetを含むさまざまなNNポテンシャルアーキテクチャに対しても有効である。