[논문 리뷰] Renormalizing Diffusion Models

Jordan Cotler, Semon Rezchikov|arXiv (Cornell University)|2023. 08. 23.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 통계 및 양자장 이론에서 유한한 재규격화군(RG) 흐름을 학습하기 위해 확산 모델을 사용하는 새로운 프레임워크를 소개한다. RG 체계를 확산 과정으로 간주함으로써, 노이즈를 첨가하는 과정을 역으로 학습함으로써, 격자장 이론에서의 적응형 다리 샘플링과 물리적으로 유용한 다스케일 아키텍처를 갖춘 변분 방법을 통한 양자 시스템의 기본 상태 계산이 가능해진다.

ABSTRACT

We explain how to use diffusion models to learn inverse renormalization group flows of statistical and quantum field theories. Diffusion models are a class of machine learning models which have been used to generate samples from complex distributions, such as the distribution of natural images. These models achieve sample generation by learning the inverse process to a diffusion process which adds noise to the data until the distribution of the data is pure noise. Nonperturbative renormalization group schemes in physics can naturally be written as diffusion processes in the space of fields. We combine these observations in a concrete framework for building ML-based models for studying field theories, in which the models learn the inverse process to an explicitly-specified renormalization group scheme. We detail how these models define a class of adaptive bridge (or parallel tempering) samplers for lattice field theory. Because renormalization group schemes have a physical meaning, we provide explicit prescriptions for how to compare results derived from models associated to several different renormalization group schemes of interest. We also explain how to use diffusion models in a variational method to find ground states of quantum systems. We apply some of our methods to numerically find RG flows of interacting statistical field theories. From the perspective of machine learning, our work provides an interpretation of multiscale diffusion models, and gives physically-inspired suggestions for diffusion models which should have novel properties.

연구 동기 및 목표

• RG 흐름을 확산 과정으로 간주함으로써 기계학습과 양자/통계장 이론을 연결한다.
• 확산 모델을 사용하여 역 RG 흐름을 학습함으로써 격자장 이론에서의 효율적 샘플링을 가능하게 하는 방법을 개발한다.
• 스코어 기반 생성 모델을 사용하여 양자장 이론의 기본 상태를 변분 프레임워크로 계산하는 방법을 제공한다.
• 효율장 이론의 구조를 존중하는 물리적으로 유용한 다스케일 확산 모델 아키텍처를 제공한다.
• 통일되고 해석 가능한 프레임워크를 통해 다양한 RG 체계 간의 결과 비교를 가능하게 한다.

제안 방법

• 장 공간에서 비동역학적 RG 체계를 노이즈 첨가가 해당하는 군집화에 대응하는 확산 과정으로 공식화한다.
• 스코어 기반 생성 모델링을 사용하여 역과정—즉, 노이즈 제거—를 학습함으로써 원래의 장 분포를 복원한다.
• 정규화 흐름을 변분 추론에 적용하여 격자장 이론에서의 효율적 샘플링을 위한 최적화된 제안 분포를 최적화한다.
• 연속시간 공식을 도입하여 RG 흐름을 함수 도함수를 포함하는 포크너-플랭크형 방정식으로 모델링한다.
• 물리적 RG 커널(예: 폴친스키, 카로소)을 노이즈 스케줄과 스코어 함수에 통합하여 다스케일 확산 모델을 구성한다.
• 역확산 과정을 사용하여 원래의 장 분포에서 샘플을 생성함으로써 몬테카를로 방법을 통한 관측량 계산이 가능해진다.

실험 결과

연구 질문

• RQ1 확산 모델을 사용하여 격자장 이론에서 명시적이고 물리적으로 타당한 RG 흐름을 역전할 수 있는가?
• RQ2 확산 모델을 어떻게 조정하여 격자장 이론에서 혼합성이 향상된 적응형 브릿지 샘플러로 활용할 수 있는가?
• RQ3 역확산 과정을 사용하여 양자장 이론의 기본 상태 웨이브함수를 변분적으로 근사화할 수 있는가?
• RQ4 다양한 RG 체계(예: 폴친스키 대비 카로소)에서 훈련된 확산 모델의 물리적 및 통계적 성질은 어떠한가?
• RQ5 학습된 스코어 함수와 노이즈 스케줄은 효율장 이론의 다스케일 구조를 어떻게 반영하는가?

주요 결과

• 역확산 과정은 노이즈가 첨가되고 군집화된 상태에서 원래의 장 분포를 성공적으로 복원하여 격자장 이론에서 정확한 샘플링을 가능하게 한다.
• 특정 RG 체계의 역 흐름을 학습함으로써 이 방법은 기존 마르코프 체인 몬테카를로보다 샘플링 효율성을 높이는 적응형 브릿지 샘플러를 생성한다.
• 통일되고 물리적으로 기반을 둔 공식화 덕분에 다양한 RG 체계(예: 폴친스키 및 카로소) 간의 결과를 직접 비교할 수 있다.
• 폴친스키 및 카로소 RG 체계에서 훈련된 확산 모델은 $ ho^4$ 이론에서 알려진 고정점과 상전이를 재현하여 수치적으로 접근의 타당성을 입증한다.
• 학습된 스코어 함수는 다스케일 장 구조를 인코딩하며, 노이즈 스케줄은 기반 RG 커널의 운동량 공간 절단값을 반영한다.
• 확산 모델을 사용한 변분 방법은 특히 웨이브함수가 실수이자 양수인 경우에 양자 시스템의 기본 상태 웨이브함수를 성공적으로 계산한다.