[논문 리뷰] Flow-based sampling for multimodal and extended-mode distributions in lattice field theory

Daniel C. Hackett, Chih‐Chen Hsieh외 8명|arXiv (Cornell University)|2021. 07. 01.

Gaussian Processes and Bayesian Inference참고 문헌 4인용 수 35

한 줄 요약

논문은 격자 장 이론에서 다모드 분포를 모델링하기 위한 flow 기반 방법들을 개발하고, 효율적이고 정확한 샘플링을 달성하기 위해 전통적 샘플러들과의 합성 증강을 제안한다. 또한 모드 붕괴를 피하기 위한 훈련 스킴을 분석하고 2차원 실수 스칼라 장 이론에서의 테스트를 수행한다.

ABSTRACT

Recent results have demonstrated that samplers constructed with flow-based generative models are a promising new approach for configuration generation in lattice field theory. In this paper, we present a set of training- and architecture-based methods to construct flow models for targets with multiple separated modes (i.e.~vacua) as well as targets with extended/continuous modes. We demonstrate the application of these methods to modeling two-dimensional real and complex scalar field theories in their symmetry-broken phases. In this context we investigate different flow-based sampling algorithms, including a composite sampling algorithm where flow-based proposals are occasionally augmented by applying updates using traditional algorithms like HMC.

연구 동기 및 목표

• 격자 장 이론에서 다모듈 분포를 가진 샘플링의 도전을 동기부여하고 해결한다.
• 명시적 모드 지식 없이도 여러 분리된 모드를 포착하는 flow 기반 모델을 개발한다.
• 모드 간의 혼합을 향상시키면서 정확성을 보존하기 위한 합성 및 증강 MCMC 스킴을 제안한다.
• 모드 붕괴와 내부 꼬리의 저평가를 피하기 위한 훈련 전략을 조사한다.
• 구축된 다모드 flow 모델을 2차원 실수 스칼라 장 이론에 적용하고 샘플링 효율성을 평가한다.

제안 방법

• 업데이트 기반 MCMC와 역 KL 자체 학습을 통한 flow 기반 샘플링에 대한 검토.
• 모드 붕괴와 내부 꼬리 저평가와 같은 다모드 샘플링 병리를 분석.
• 혼합 및 대칭 혼합을 통한 다모드 flow 모델의 구성.
• 모드 붕괴를 완화하기 위한 순방향 KL 및 어드리아바틱 재학습 등 훈련 전략.
• flow 기반 제안과 HMC 같은 증강 업데이트를 결합한 합성 MCMC로 모드 도약을 강화.
• 2D 격자 스칼라 장 이론에의 적용과 flow 기반 MCMC 및 증강 스킴의 평가.

실험 결과

연구 질문

• RQ1 격자 장 이론에서 다모드 대상 분포를 정확히 표현하도록 flow 기반 모델을 어떻게 학습시킬 수 있는가?
• RQ2 다모드 타깃에 대한 흐름 학습에서 모드 붕괴를 효과적으로 방지하는 전략은 무엇인가?
• RQ3 모듈과 대칭 기반 혼합 구성이 모든 모드를 견고하게 커버할 수 있는가?
• RQ4 합성 또는 증강 MCMC 스킴이 다모드 이론에서 샘플링 효율성 측면에서 순수한 흐름 기반 또는 전통적 MCMC와 비교하여 어떤 차이가 있는가?

주요 결과

• 2D 실수 스칼라 장 이론에서 흐름 모델이 양모드 분포를 표현할 수 있지만 내부 꼬리를 과소평가하여 순수 흐름 기반 MCMC에 영향을 줄 수 있다.
• 모드 흐름 모델의 혼합 및 단일 모델 대칭 혼합은 모든 모드를 커버하는 데 도움이 될 수 있다.
• 흐름 제안을 HMC 업데이트와 결합한 증강 MCMC가 흐름 기반 MCMC만으로보다 더 효율적이고 더 신뢰성 있는 샘플링을 제공한다.
• 순방향 KL, 어드리아바틱 재학습, 흐름 거리 규제와 같은 훈련 전략이 모드 붕괴를 완화하고 다모드 커버리지를 개선하는 데 기여한다.
• flow 기반 제안과 전통적 업데이트를 모두 활용하는 합성 샘플링 알고리즘은 다모드 설정에서 순수 HMC 및 흐름 기반 MCMC보다 우수한 성능을 보일 수 있다.