[논문 리뷰] Detecting and Mitigating Mode-Collapse for Flow-based Sampling of Lattice Field Theories

Kim A. Nicoli, Christopher J. Anders외 4명|arXiv (Cornell University)|2023. 01. 01.

Theoretical and Computational Physics인용 수 1

한 줄 요약

이 논문은 라티스 양자장 이론의 샘플링에 사용되는 정규화 흐름에서 역KL 훈련으로 인해 발생하는 모드 붕괴(mode-collapse)를 식별하고 해결한다. 역KL 훈련은 물리적 모드를 모두 표현하지 못하게 하며, 이에 대해 본 논문은 정방향KL 훈련과 추정기 조합을 제안하여 편향을 줄인다. 2차원 ϕ⁴ 이론에서 HMC보다 훨씬 낮은 오차로 자유 에너지 추정이 가능함을 보여주며, 유의미하게 향상된 성능을 확보한다.

ABSTRACT

We study the consequences of mode-collapse of normalizing flows in the context of lattice field theory. Normalizing flows allow for independent sampling. For this reason, it is hoped that they can avoid the tunneling problem of local-update MCMC algorithms for multi-modal distributions. In this work, we first point out that the tunneling problem is also present for normalizing flows but is shifted from the sampling to the training phase of the algorithm. Specifically, normalizing flows often suffer from mode-collapse for which the training process assigns vanishingly low probability mass to relevant modes of the physical distribution. This may result in a significant bias when the flow is used as a sampler in a Markov-Chain or with Importance Sampling. We propose a metric to quantify the degree of mode-collapse and derive a bound on the resulting bias. Furthermore, we propose various mitigation strategies in particular in the context of estimating thermodynamic observables, such as the free energy.

연구 동기 및 목표

• 정규화 흐름이 라티스 양자장 이론에서 역KL 수렴을 통해 훈련될 때 발생하는 모드 붕괴의 근본 원인을 규명하는 것.
• 모드 붕괴로 인해 발생하는 물리적 관측량 추정기의 편향을 정량화하는 것.
• 특히 자유 에너지와 같은 열역학적 관측량에 대해 모드 붕괴를 완화하기 위한 정방향KL 훈련을 제안하는 것.
• 훈련된 흐름에서 모드 붕괴 정도를 평가할 수 있는 지표를 개발하는 것.
• 정방향KL 훈련과 결합된 흐름 기반 추정기를 사용하여 자유 에너지 추정을 향상시키는 것.

제안 방법

• 모드가 누락된 경우에 약한 벌점이 작용하므로, 표준 흐름 훈련을 위해 역KL 최소화를 사용하며, 이는 모드 붕괴에 취약하다.
• 최대우도를 강제하고 모드 누락에 대해 벌점을 주므로 모드 붕괴를 줄이는 정방향KL 훈련을 제안한다.
• 모드 붕괴로 인한 관측량 추정기의 편향에 대한 이론적 경계를 도입하여, 모드 붕괴 심각도를 정량화할 수 있는 지표를 가능하게 한다.
• 정방향KL 훈련을 위해 사전에 샘플된 HMC 구성 상태를 참조 데이터로 사용하며, 추가적인 체인 없이도 자유 에너지 추정에 활용할 수 있도록 한다.
• 다양한 흐름 기반 추정기를 조합하여 자유 에너지 추정의 분산을 줄이고 정확도를 향상시킨다.
• HMC를 기준으로 하여, N=100까지의 라티스 체적을 가진 2차원 ϕ⁴ 스칼라 이론에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 정규화 흐름에서 역KL 훈련이 라티스 양자장 이론에서 어떻게 모드 붕괴를 유도하는가?
• RQ2 모드 붕괴로 인해 물리적 관측량 추정기에 유도되는 편향에 대한 이론적 경계는 무엇인가?
• RQ3 정방향KL 훈련이 흐름 기반 샘플링에서 역KL 훈련보다 모드 붕괴를 유의미하게 줄일 수 있는가?
• RQ4 HMC 샘플이 가용할 경우, 정방향KL 훈련이 자유 에너지와 같은 열역학적 관측량에 대해 실용적인가?
• RQ5 여러 개의 흐름 기반 추정기를 조합하면 자유 에너지 추정의 편향을 줄이고 정확도를 향상시킬 수 있는가?

주요 결과

• 정방향KL 훈련은 역KL 훈련보다 모드 붕괴를 유의미하게 줄이며, 낮은 편향 지표와 함께 물리적 모드의 더 나은 커버리지가 관찰된다.
• 이론적 편향 경계는 모드 붕괴의 영향을 정확히 정량화하며, 2차원 ϕ⁴ 모델에서 관측된 최대 편향은 약 0.73이다.
• 정방향KL 훈련을 사용한 흐름 기반 자유 에너지 추정은 단지 100만 개의 샘플을 사용함에도 불구하고 HMC보다 수 개의 지수 차수 낮은 오차를 기록했다.
• 여러 흐름 추정기의 조합은 추가로 분산을 줄이고 정확도를 향상시켜 단일 흐름 추정기보다 뛰어난 성능을 보였다.
• 5000만 개의 사전 샘플된 HMC 구성 상태를 사용한 훈련은 효과적인 정방향KL 훈련을 가능하게 하여, 추가 HMC 체인 없이도 자유 에너지 추정이 가능하게 하였다.
• 메트릭스는 N=100까지의 라티스 체적에서 안정적인 성능을 보였으며, A100 GPU에서 최대 55시간의 훈련 시간이 소요되었다.