[論文レビュー] Self-Supervised Learning of Generative Spin-Glasses with Normalizing Flows

Gavin S. Hartnett, Masoud Mohseni|arXiv (Cornell University)|Jan 2, 2020

Theoretical and Computational Physics被引用数 10

ひとこと要約

本稿では、連続的生成モデリングを用いて複雑で多モーダルなスピンガラス分布をモデル化する自己教師付き正規化フロー枠組みを提案する。粗いエネルギー・ランドスケープを単純なガウス分布に写像する逆フローを訓練することで、可逆的でスケールにわたる粗塩化操作を学習し、準安定状態間の位相的構造を明らかにするとともに、フローレイヤー内に生成的スピンガラス相転移を示す。

ABSTRACT

Spin-glasses are universal models that can capture complex behavior of many-body systems at the interface of statistical physics and computer science including discrete optimization, inference in graphical models, and automated reasoning. Computing the underlying structure and dynamics of such complex systems is extremely difficult due to the combinatorial explosion of their state space. Here, we develop deep generative continuous spin-glass distributions with normalizing flows to model correlations in generic discrete problems. We use a self-supervised learning paradigm by automatically generating the data from the spin-glass itself. We demonstrate that key physical and computational properties of the spin-glass phase can be successfully learned, including multi-modal steady-state distributions and topological structures among metastable states. Remarkably, we observe that the learning itself corresponds to a spin-glass phase transition within the layers of the trained normalizing flows. The inverse normalizing flows learns to perform reversible multi-scale coarse-graining operations which are very different from the typical irreversible renormalization group techniques.

研究の動機と目的

• 離散的で強く相関のある状態を有する複雑なスピンガラス系の深層生成モデルを開発すること。
• 平均場理論やレノルミズーション群の手法に見られる制限を克服し、系に特有の可逆的変換を学習すること。
• 外部データセットを用いず、スピンガラスハミルトニアン（式1）から直接訓練データを生成することで、自己教師学習を可能にすること。
• 学習された潜在表現を通じて、準安定状態間に隠れた位相的構造を解明すること。
• 正規化フロー自体のレイヤー内に、元の系におけるスピンガラス相転移に類似した相転移の発現を探索すること。

提案手法

• スピンガラス系の連続的確率分布を正規化フローでモデル化し、可逆的ニューラルネットワークにより変換をパラメータ化する。
• 自己教師付きフレームワークを採用し、訓練データをスピンガラスハミルトニアン（式1）から、逆温度β=1でのマルコフ連鎖モンテカルロサンプリングにより生成する。
• 逆フローG⁻¹を適用して、複雑で多モーダルなエネルギー・ランドスケープを単純な二次形式½zᵀzに写像し、効率的なサンプリングと解析を可能にする。
• 正規化フローの可逆性を活用して、自由度を統合しない情報保持型の可逆的粗塩化を実現する。
• ボルツマン分布（式2）の尤度最大化によりフローを訓練し、モデルが真の平衡分布を的確に捉えることを保証する。
• ニューラルODEと微分同相理論を用いて、複雑な分布と単純な分布の間の連続的かつ微分可能な変換としてのフローを形式化する。

実験結果

リサーチクエスチョン

• RQ1 正規化フローは、指数的状態空間を持つスピンガラスの複雑で多モーダルな定常分布を学習できるか？
• RQ2 ハミルトニアン自体から生成されたデータを用いる自己教師付き訓練フレームワークは、スピンガラス系の有効なモデリングを可能にするか？
• RQ3 逆フロー操作は、物理的構造を保持する可逆的でスケールにわたる粗塩化の一種と解釈できるか？
• RQ4 訓練プロセス自体が、元の系におけるスピンガラス相転移に類似した相転移を、正規化フローのレイヤー内に誘発するか？
• RQ5 不規則な多体系の文脈において、正規化フローと従来のレノルミズーション群手法との間に何の関係があるか？

主な発見

• 逆正規化フローは、シャーリントン＝キルカレーのスピンガラスの粗い多モーダルエネルギー・ランドスケープを、単純な二次形式に的確に写像し、効率的なサンプリングを可能にするとともに、その背後にある位相的構造を明らかにした。
• モデルは、すべての情報を保持する可逆的でスケールにわたる粗塩化を学習し、非可逆的レノルミズーション群手法とは本質的に異なる。
• 訓練済み正規化フローのレイヤー内に、生成的スピンガラス相転移が観察された。これは、フローアーキテクチャと物理的系との間に深い構造的類似性があることを示唆している。
• 逆フローの潜在空間は、準安定状態とその位相的組織を捉えており、系の複雑なエネルギー・ランドスケープに関する洞察を提供した。
• 本手法により、類似する粗塩化マップを用いた先行研究が示したように、ハミルトニアン・モンテカルロサンプリングの性能が向上した。
• 本フレームワークは、系に特有の可逆的学習パラダイムを有するため、組み合わせ最適化、グラフィカルモデル推論、エネルギーベースモデリングへの応用が広く可能である。