[論文レビュー] Self-learning Monte Carlo with Deep Neural Networks

Huitao Shen, Junwei Liu+1 more|DSpace@MIT (Massachusetts Institute of Technology)|Jan 3, 2018

Quantum and electron transport phenomena被引用数 9

ひとこと要約

この論文は、データから有効ハミルトニアンを学習することで、量子インパルティモデルのシミュレーションを高速化する、深層ニューラルネットワーク（DNN）に基づく自己学習モンテカルロ（SLMC）フレームワークを提案する。対称性に配慮した畳み込みニューラルネットワークを活用することで、Hirsch-Fyeアルゴリズムにおける局所的更新の計算複雑度を 𝒪(β²) から 𝒪(β ln β) に低減し、極めて少ないパラメータ数と高速な推論を実現することで、低温域での効率的シミュレーションが可能になる。

ABSTRACT

Self-learning Monte Carlo (SLMC) method is a general algorithm to speedup MC simulations. Its efficiency has been demonstrated in various systems by introducing an effective model to propose global moves in the configuration space. In this paper, we show that deep neural networks can be naturally incorporated into SLMC, and without any prior knowledge, can learn the original model accurately and efficiently. Demonstrated in quantum impurity models, we reduce the complexity for a local update from $ \mathcal{O}(β^2) $ in Hirsch-Fye algorithm to $ \mathcal{O}(β\ln β) $, which is a significant speedup especially for systems at low temperatures.

研究の動機と目的

• 従来の量子インパルティモデルのモンテカルロシミュレーションにおける高い計算コストと強い自己相関を克服すること。
• 事前の物理的知識が不要な一般化可能で偏りのないフレームワークを構築し、有効モデルを学習すること。
• 標準的な局所的更新を訓練済みDNNが提案するグローバルな移動に置き換えることで、シミュレーションの効率を向上させること。
• 対称性に配慮したDNNが最小限のパラメータで高い精度を達成でき、パrametrizationの冗長性を低減できることを示すこと。
• 計算複雑度を大幅に低減することで、実用的な低温域シミュレーションを可能にすること。

提案手法

• 元のモデルから得られる配置を用いて学習する深層ニューラルネットワーク（DNN）を用いて、有効ハミルトニアン H_eff[𝒮; α] を学習する自己学習モンテカルロ（SLMC）フレームワークを提案する。
• 並進不変性を尊重し、パラメータ数を削減するために、重み共有と大きなストライドを用いた畳み込みニューラルネットワーク（CNN）アーキテクチャを採用する。
• 分配関数における行列式の真の重み W[𝒮] と有効モデルの重み W_eff[𝒮; α] の差を最小化するように、バックプロパゲーションを用いてDNNを訓練する。
• 補助スピン空間 𝒮 におけるグローバルな移動を採用し、受容確率は W_eff[𝒮₂; α]/W_eff[𝒮₁; α] の比に基づく。
• 局所的相互作用のサイズと一致するカーネルサイズを持つ畳み込み層を構築し、最終出力を得るために小さな全結合層を追加する。
• DNNの数学的普遍性を活用して任意の連続関数を近似可能にし、アーキテクチャ的制約によって効率性を維持しつつ表現力を確保する。

実験結果

リサーチクエスチョン

• RQ1 事前の物理的知識なしに、深層ニューラルネットワークを有効モデルとしてSLMCに効果的に適用できるか？
• RQ2 ニューラルネットワークのアーキテクチャをどのように設計すれば、量子インパルティモデルにおける物理的対称性を尊重し、パrametrizationの冗長性を低減できるか？
• RQ3 訓練済みDNNを有効モデルとして使用した場合の局所的更新の計算複雑度は何か？ また、Hirsch-Fyeアルゴリズムと比較してどうなるか？
• RQ4 DNNを用いたSLMCは、特に低温域においても高い受容率と低い自己相関時間を持つことができるか？
• RQ5 全結合ネットワークと比較して、畳み込みネットワークを用いることで、パラメータ数をどれほど削減できるか、精度はどのように保たれるか？

主な発見

• 畳み込みニューラルネットワークにより、全結合ネットワークの約10⁵個のトレーニング可能なパラメータが約10²にまで低減され、3桁のオーダーの削減が達成された。
• 有効モデルにおける局所的更新の計算複雑度は、Hirsch-Fyeアルゴリズムの 𝒪(β²) から 𝒪(β ln β) に低減され、β が大きい場合のシミュレーションが著しく高速化された。
• パラメータ数が少ないにもかかわらず、全結合ネットワークと同等またはそれ以上の受容率を達成しており、最適化と一般化性能の向上が示された。
• この手法により、全結合ネットワークがトレーニングにあまりにコストがかかるか、実行不可能なほど低温域でのトレーニングとシミュレーションが可能になった。
• 最終的な全結合層の計算コストは一定であり、畳み込み層の数は 𝒪(ln L) のスケーリングを示し、系サイズに応じたスケーラビリティが保証された。
• このフレームワークは一般性を持ち、特に局所的かつ並進不変な相互作用を有する系に、インパルティモデルを超えて応用可能である。