[論文レビュー] Variational optimization in the AI era: Computational Graph States and Supervised Wave-function Optimization

Dmitrii Kochkov, Bryan K. Clark|arXiv (Cornell University)|Nov 29, 2018

Neural Networks and Reservoir Computing被引用数 32

ひとこと要約

本稿では、すべての計算可能な変分波動関数を微分可能計算グラフとして一元的に表現するための計算グラフ状態（CGS）を導入し、教師あり学習にインspiredされた新しい最適化手法である教師あり波動関数最適化（SWO）を提案する。SWOにより、完全畳み込みネットワークを含む多様なアーキテクチャにおいて、効率的かつスケーラブルなパラメータ最適化が可能となり、1次元および2次元ヘイゼンベルク模型において、システムサイズに跨る転送可能なパラメータを用いて競争力のある基底状態エネルギーが達成された。

ABSTRACT

Representing a target quantum state by a compact, efficient variational wave-function is an important approach to the quantum many-body problem. In this approach, the main challenges include the design of a suitable variational ansatz and optimization of its parameters. In this work, we address both of these challenges. First, we define the variational class of Computational Graph States (CGS) which gives a uniform framework for describing all computable variational ansatz. Secondly, we develop a novel optimization scheme, supervised wave-function optimization (SWO), which systematically improves the optimized wave-function by drawing on ideas from supervised learning. While SWO can be used independently of CGS, utilizing them together provides a flexible framework for the rapid design, prototyping and optimization of variational wave-functions. We demonstrate CGS and SWO by optimizing for the ground state wave-function of 1D and 2D Heisenberg models on nine different variational architectures including architectures not previously used to represent quantum many-body wave-functions and find they are energetically competitive to other approaches. One interesting application of this architectural exploration is that we show that fully convolution neural network wave-functions can be optimized for one system size and, using identical parameters, produce accurate energies for a range of system sizes. We expect these methods to increase the rate of discovery of novel variational ansatz and bring further insights to the quantum many body problem.

研究の動機と目的

• 量子多体系の変分波動関数の設計と最適化の課題に取り組むために、多様なアンザッツを一つの計算フレームワークに統合すること。
• 従来の変分モンテカルロ法の高い実装コストと最適化コストを克服し、新しいアンザッツアーキテクチャの探索を制限する要因を解消すること。
• グラフベースの形式的定式化を通じた自動微分を可能にすることで、迅速なプロトタイピングと効率的な最適化を実現し、有効な変分波動関数の発見を加速すること。
• 虚時間発展に従う経路に沿って収束を促進し、局所最適解に陥るのを避けることで収束性を向上させる、新しい最適化手法SWOの開発。
• 1つのシステムサイズで訓練された完全畳み込みネットワークアーキテクチャが、同じパラメータを用いて他のシステムサイズへ一般化可能であることを実証すること。

提案手法

• 入力ノードが計算基底状態を表し、出力ノードが波動関数振幅を表す有向無閉路グラフ（DAG）を用いて、変分波動関数の普遍的表現として計算グラフ状態（CGS）を定義する。
• RBM、MPS、スレーター行列式、ニューラルネットワークを含む、既知のすべての変分アンザッツを、CGSフレームワーク内での特定のアーキテクチャ的構成として表現する。
• CGS内に自動微分を実装し、変分パラメータに関するエネルギーの勾配を計算することで、効率的な最適化を可能にする。
• 現在の波動関数と改善された目標波動関数との間のL2差を最小化するように、教師あり学習の目的関数を用いて、教師あり波動関数最適化（SWO）を提案する。
• 虚時間発展子を活用し、1次元最適化法としてのIT-SWO（虚時間SWO）を実装し、収束を加速するとともに、局所最適解からの脱出を可能にする。
• より表現力の高いアーキテクチャが、より表現力の低いアーキテクチャをガイドするように、複数のアーキテクチャを並列に使用し、エネルギー障壁を越えるトンネル効果を実現する。

実験結果

リサーチクエスチョン

• RQ1 すべての効率的かつ計算可能な量子多体系の変分波動関数を、統一された計算フレームワークで表現できるか？
• RQ2 教師あり学習の原則を効果的に応用することで、従来のエネルギー最小化法よりも効率的に量子変分波動関数を最適化できるか？
• RQ3 1つのシステムサイズで最適化された波動関数が、再訓練なしに他のシステムサイズへ一般化可能か、特に畳み込みアーキテクチャにおいては？
• RQ4 制限付きボルツマンマシン（RBM）を超える多様なニューラルネットワークアーキテクチャが、変分量子モンテカルロ法において競争力のある性能を示せるか？
• RQ5 CGSとSWOの相乗効果により、変分アンザッツの探索がより高速かつ体系的に行えるか？

主な発見

• CGSフレームワークは、RBM、MPS、スレーター行列式、完全畳み込みネットワークを含む広範な変分アンザッツを、1つの微分可能グラフ形式に統合して成功している。
• SWOは、虚時間発展経路に従うことで、標準的な確率的勾配降下法よりも収束が速い。
• 1つのシステムサイズで訓練された完全畳み込みニューラルネットワーク波動関数は、同じパラメータを用いて、広範な他のシステムサイズにおいて正確な基底状態エネルギーを達成している。
• RBMを超える新規アーキテクチャ、例えばResNetや多層RBM波動関数は、1次元および2次元ヘイゼンベルク模型において、エネルギー的に競争力のある性能を示している。
• SWOを用いて複数のアーキテクチャを並列に使用することで、より表現力の高いアーキテクチャが、より表現力の低いアーキテクチャをより良い解へ導くことができ、局所最適解からの脱出が有効に実現されている。
• オープンソースのCGS-VMCコードベース（https://github.com/ClarkResearchGroup/cgs-vmc で公開）は再現性を確保し、今後の新規アンザッツの探索を容易にする。