[論文レビュー] Quantum Ground States from Reinforcement Learning

Ariel Barr, Willem Gispen+1 more|arXiv (Cornell University)|Jun 16, 2020

Quantum, superfluid, helium dynamics参考文献 49被引用数 5

ひとこと要約

本稿では、フェインマン–カック表現を用いて確率的経路の最適制御として定式化することで、量子基底状態を強化学習を用いて計算する手法を提案する。ニューラルネットワークを訓練して最適なドリフト場を学習し、経路積分の軌道に対する重要度サンプリングとして機能させる。水素原子、ヘリウム原子、水素分子において、エネルギー予測値が正確な値の0.3%以内に収束する。

ABSTRACT

Finding the ground state of a quantum mechanical system can be formulated as an optimal control problem. In this formulation, the drift of the optimally controlled process is chosen to match the distribution of paths in the Feynman--Kac (FK) representation of the solution of the imaginary time Schr\"odinger equation. This provides a variational principle that can be used for reinforcement learning of a neural representation of the drift. Our approach is a drop-in replacement for path integral Monte Carlo, learning an optimal importance sampler for the FK trajectories. We demonstrate the applicability of our approach to several problems of one-, two-, and many-particle physics.

研究の動機と目的

• 量子多体問題の指数的スケーリングを克服するため、深層学習を活用して効率的な基底状態近似を実現すること。
• 虚時間シュレーディンガー方程式を用いて、量子基底状態計算を最適制御問題に再定式化すること。
• フェインマン–カック経路の最適重要度サンプリング分布を学習できる微分可能で、微分可能な強化学習フレームワークの開発。
• 学習済みドリフト場によるサンプリング効率の向上を実現する、パス積分モンテカルロの即時置換策としての提供。
• シュレーディンガー図式を超えて、量子状態の確率過程表現を用いることで、深層学習手法の拡張。

提案手法

• フェインマン–カック公式を用いて、基底状態を虚時間シュレーディンガー方程式の解として定式化する。
• ポテンシャル依存の重みを伴うブラウン運動経路の期待値として解を表現し、確率的サンプリングを可能にする。
• 最適制御理論を用いて、経路積分推定値の分散を最小化するドリフト場を導出する。これは最適な重要度サンプリングに対応する。
• 経路重みの分散低減を報酬信号とする強化学習を用い、ニューラルネットワーク（PAIRDRIFT）でドリフト場を学習する。
• 確率的微分方程式（SDE）を用いて、学習済みドリフト下での経路をシミュレートし、軌道を介した微分可能バックプロパゲーションを実現する。
• 電子-核および電子-電子のクッション特徴をモデル化するため、スキップ接続付きの残差ネットワークアーキテクチャを用いて連続空間系に適用する。

実験結果

リサーチクエスチョン

• RQ1 強化学習を用いて、フェインマン–カック経路の最適重要度サンプリング分布を学習するニューラルネットワークを訓練できるか？
• RQ2 本手法のRLベースの経路サンプリングは、従来のパス積分モンテカルロと比較して、エネルギー精度および分散低減の観点で優れているか？
• RQ3 明示的な波動関数アンサンブルに依存せずに、1体、2体、多数体の量子系において高精度な基底状態エネルギーを達成できるか？
• RQ4 学習済みドリフト場は、原子および分子系における電子相関およびクッション条件といった物理的特徴をどの程度正確に捉えられるか？
• RQ5 本手法は、さまざまな量子系にスケーラブルかつ汎用的か。特に、有限範囲の相互作用を有する井戸内での相互作用ボソンや、結合距離が異なる分子に対しても有効か？

主な発見

• 水素原子、ヘリウム原子、平衡および引き伸ばし幾何構造における水素分子について、基底状態エネルギーの予測値が数値的に正確な値の0.3%以内に収束した。
• R = 2.8（引き伸ばし）の水素分子において、予測エネルギーは正確な値から0.3%の誤差に留まり、分子歪みに対しても安定であることが示された。
• スキップ接続付きのPAIRDRIFTニューラルアーキテクチャは、電子-電子および電子-核のクッション行動を的確に捉え、相関系における精度を向上させた。
• 2次元調和井戸内にN = 2, 3, 4のボソンが有限範囲の相互作用を有する場合、全テスト相互作用強度および範囲において、正確な対角化結果と1%以内に一致した。
• 相互作用ボソンの学習済みドリフト場は、粒子同士を引き離す傾向を示し、物理的直観および相関効果と整合的であった。
• 最適制御を通じた基底状態近似の変分原理を提供し、SDEを介した経路サンプリング方策の微分可能トレーニングを可能にした。