[論文レビュー] Gold-standard solutions to the Schrödinger equation using deep learning: How much physics do we need?

Leon Gerard, Michael Scherbela+2 more|arXiv (Cornell University)|May 19, 2022

Machine Learning in Materials Science被引用数 6

ひとこと要約

本論文は、シュレーディンガー方程式を解くための変分モンテカルロ（VMC）用ディープラーニングアーキテクチャを提案する。従来手法と比較してエネルギー誤差を40–70%低減し、計算コストを6倍削減することで、ゴールドスタンダードの精度を達成した。また、CASSCFからの過剰な物理的事前知識が最適化バイアスを引き起こし、性能を低下させることが判明した。これは、近似解を組み込む利点に関する仮定に疑問を呈するものである。

ABSTRACT

Finding accurate solutions to the Schrödinger equation is the key unsolved challenge of computational chemistry. Given its importance for the development of new chemical compounds, decades of research have been dedicated to this problem, but due to the large dimensionality even the best available methods do not yet reach the desired accuracy. Recently the combination of deep learning with Monte Carlo methods has emerged as a promising way to obtain highly accurate energies and moderate scaling of computational cost. In this paper we significantly contribute towards this goal by introducing a novel deep-learning architecture that achieves 40-70% lower energy error at 6x lower computational cost compared to previous approaches. Using our method we establish a new benchmark by calculating the most accurate variational ground state energies ever published for a number of different atoms and molecules. We systematically break down and measure our improvements, focusing in particular on the effect of increasing physical prior knowledge. We surprisingly find that increasing the prior knowledge given to the architecture can actually decrease accuracy.

研究の動機と目的

• シュレーディンガー方程式を解くために、従来手法よりも高い精度と低い計算コストを達成するディープラーニングベースの変分モンテカルロ手法を開発すること。
• 原子および分子における、これまでに発表された中で最も正確な変分基底状態エネルギーをベンチマークすること。
• ディープラーニングベースの量子化学において、物理的事前知識をどれだけ組み込むとモデルの性能が向上するか、あるいは低下するかを体系的に調査すること。
• 波動関数近似において、より物理的に情報化された事前知識を組み込むほど良い結果が得られるという仮定に疑問を呈すること。

提案手法

• 局所座標入力特徴量を用いた深層ニューラルネットワークを採用し、多体波動関数をモデル化することで、回転不変性と物理的整合性を確保する。
• 正確な対称性およびクスク条件を組み込んだ物理的インフォームド損失関数を用い、基礎的な量子力学的制約を強制する。
• 確率的勾配降下法を用いた変分モンテカルロによる訓練により、微分可能なサンプリングを用いてエネルギー期待値を最小化する。
• ハートリー・フォックやCASSCFからのソフトな物理的ガイドを用いた新規な事前学習戦略を採用し、ハード制約を課さずに収束を加速する。
• 残留接続とアテンション機構を備えた残差ネットワークを用い、電子相関および節面構造を効果的に捉える。
• モンテカルロサンプリングと重要度サンプリングを用いてエネルギー評価を行い、分散を低減し収束性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ハートリー・フォックやCASSCFからの段階的な物理的事前知識を組み込むことで、ディープラーニングベースのVMC解の精度が向上するか？
• RQ2 ディープラーニングモデルが、従来手法と比較して顕著に低い計算コストで、小さな原子および分子のエネルギー予測においてゴールドスタンダードの精度を達成できるか？
• RQ3 CASSCFを基準として使用すると、ハートリー・フォックよりも性能が悪化する場合があるが、これはCASSCFがより正確な近似であるにもかかわらず、その理由は何か？
• RQ4 反対称性やクスク条件といった正確な物理的制約を組み込むことで、学習された事前知識と比較して、モデル性能がどの程度向上するか？
• RQ5 事前学習戦略の選択が最適化ダイナミクスおよび最終的なエネルギー精度にどのように影響するか？

主な発見

• 提案手法は、FermiNetを含む従来のディープラーニングベースのVMC手法と比較して、エネルギー誤差を40–70%低減し、計算コストを6倍削減した。
• 本モデルは、4番目の周期元素およびグリシンを含む原子および分子における変分基底状態エネルギーの新記録を樹立し、MRCI-F12(Q)といった従来のゴールドスタンダード手法を約100 mHa上回った。
• 驚くべきことに、CASSCFを事前学習の基準として使用すると、ハートリー・フォックを使用した場合よりも精度が悪化し、過剰な事前知識が最適化バイアスを引き起こす可能性があることが示された。
• CASSCFを用いた事前学習や、広範な教師ありファインチューニングを行うと、最終的な精度が低下することがあり、これはこのような事前知識が変分最適化の過程でモデルを誤導する可能性があることを示唆している。
• 反対称性やクスク条件といった正確な物理的制約を組み込むことで性能が向上するが、近似解からの学習された事前知識は必ずしも役立たず、場合によっては結果を損なうことがある。
• 本手法は、ディープラーニングベースのVMCが今後、計算化学分野における新たなゴールドスタンダードとして機能できることを示した。従来の古典的手法および従来のディープラーニング手法を、精度と効率の両面で凌駒している。