[論文レビュー] Detecting and Mitigating Mode-Collapse for Flow-based Sampling of Lattice Field Theories

Kim A. Nicoli, Christopher J. Anders+4 more|arXiv (Cornell University)|Jan 1, 2023

Theoretical and Computational Physics被引用数 1

ひとこと要約

この論文は、逆KL損失による学習に起因するモード崩壊を、格子場理論のサンプリングに用いられる正規化フローにおいて同定・是正する。逆KL損失学習では物理的モードの一部が表現されないことがあり、本研究では正順方向KL損失学習と推定器の組み合わせを提案し、バイアスを低減する。2次元ϕ⁴理論において、HMCに比べて顕著に低い誤差で自由エネルギー推定が達成された。

ABSTRACT

We study the consequences of mode-collapse of normalizing flows in the context of lattice field theory. Normalizing flows allow for independent sampling. For this reason, it is hoped that they can avoid the tunneling problem of local-update MCMC algorithms for multi-modal distributions. In this work, we first point out that the tunneling problem is also present for normalizing flows but is shifted from the sampling to the training phase of the algorithm. Specifically, normalizing flows often suffer from mode-collapse for which the training process assigns vanishingly low probability mass to relevant modes of the physical distribution. This may result in a significant bias when the flow is used as a sampler in a Markov-Chain or with Importance Sampling. We propose a metric to quantify the degree of mode-collapse and derive a bound on the resulting bias. Furthermore, we propose various mitigation strategies in particular in the context of estimating thermodynamic observables, such as the free energy.

研究の動機と目的

• 格子場理論における正規化フローが逆KL損失で学習される場合に生じるモード崩壊の根本的原因を同定すること。
• モード崩壊が物理的観測値推定器に及えるバイアスを定量化すること。
• 特に自由エネルギーなどの熱力学的観測値に対して、正順方向KL損失学習をモード崩壊の是正戦略として提案すること。
• 訓練済みフローにおけるモード崩壊の度合いを評価するための指標を開発すること。
• 正順方向KL損失学習と組み合わせたフローエstimatorsを用いて、自由エネルギー推定を改善すること。

提案手法

• 標準的なフローベースド学習に逆KL最小化を用い、欠落したモードに対するペナルティが弱いため、モード崩壊に起因するリスクが生じる。
• 正順方向KL損失学習を代替手法として提案し、最大尤度を強制することで、欠落したモードに対するペナルティを強化し、モード崩壊を低減する。
• モード崩壊による観測値推定器のバイアスに関する理論的上限を導出し、モード崩壊の深刻さを定量的に評価可能な指標を可能にする。
• 正順方向KL損失学習に事前にサンプリングされたHMCの構成を基準データとして用い、追加のHMCチェインを必要とせずに自由エネルギー推定に利用可能にする。
• 複数のフローベースド推定器を組み合わせることで、自由エネルギー推定における分散を低減し、精度を向上させる。
• HMCを基準として、N=100までの格子体積を有する2次元ϕ⁴スカラー理論を用いて、手法の妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 正規化フローにおける逆KL損失学習が、格子場理論においてどのようにモード崩壊を引き起こすか？
• RQ2 モード崩壊が物理的観測値推定器に及えるバイアスに関する理論的上限は何か？
• RQ3 正順方向KL損失学習は、フローベースドサンプリングにおいて逆KL損失と比較して、モード崩壊を顕著に低減できるか？
• RQ4 HMCサンプルが利用可能である場合、正順方向KL損失学習は自由エネルギーなどの熱力学的観測値に適用可能か？
• RQ5 複数のフローベースド推定器を組み合わせることで、自由エネルギー推定におけるバイアスを低減し、精度を向上させられるか？

主な発見

• 正順方向KL損失学習は逆KL損失と比較して、低いバイアス指標と物理的モードの良好なカバーを示し、モード崩壊が顕著に低減された。
• 理論的バイアス上限は、モード崩壊の影響を正確に定量化できており、2次元ϕ⁴モデルでは最大で約0.73のバイアスが観測された。
• 正順方向KL損失学習を用いたフローベースド自由エネルギー推定は、100万サンプルのみを用いてもHMCに比べて数個のオーダーも低い誤差を達成した。
• 複数のフローベースド推定器の組み合わせにより、分散がさらに低減され、単一フロー推定器を上回る精度が得られた。
• 5000万個の事前サンプリング済みHMC構成を用いた学習により、正順方向KL損失学習が効果的に実行可能となり、追加のHMCチェインなしで自由エネルギー推定が可能になった。
• A100 GPUを用いた学習時間最大55時間で、N=100までの格子体積においても安定した性能を示した。