[논문 리뷰] Wavelet Conditional Renormalization Group

Tanguy Marchand, Misaki Ozawa외 2명|arXiv (Cornell University)|2022. 07. 11.

Gaussian Processes and Bayesian Inference참고 문헌 71인용 수 13

한 줄 요약

웨이블릿 조건부 재규격화군(WC-RG)은 물리학적 또는 천체물리학적 데이터셋으로부터 고차원 에너지 함수를 추정하는 다스케일 방법이다. 이는 웨이블릿 기반 에너지 함수를 사용해 군집화된 필드에 조건부 확률을 모델링함으로써 미세 구조적 자유도의 조건부 확률을 추정한다. 이 방법은 상전이 근처에서 임계적 둔화 문제를 피하고, 장거리 상호작용과 비정규 분포를 포착함으로써 국소 잠재력 모델보다 우수한 성능을 보인다. 이는 φ⁴ 모델과 약한 중력 렌즈링 필드와 같은 시스템에서 성립한다.

ABSTRACT

We develop a multiscale approach to estimate high-dimensional probability distributions from a dataset of physical fields or configurations observed in experiments or simulations. In this way we can estimate energy functions (or Hamiltonians) and efficiently generate new samples of many-body systems in various domains, from statistical physics to cosmology. Our method -- the Wavelet Conditional Renormalization Group (WC-RG) -- proceeds scale by scale, estimating models for the conditional probabilities of "fast degrees of freedom" conditioned by coarse-grained fields. These probability distributions are modeled by energy functions associated with scale interactions, and are represented in an orthogonal wavelet basis. WC-RG decomposes the microscopic energy function as a sum of interaction energies at all scales and can efficiently generate new samples by going from coarse to fine scales. Near phase transitions, it avoids the "critical slowing down" of direct estimation and sampling algorithms. This is explained theoretically by combining results from RG and wavelet theories, and verified numerically for the Gaussian and $φ^4$ field theories. We show that multiscale WC-RG energy-based models are more general than local potential models and can capture the physics of complex many-body interacting systems at all length scales. This is demonstrated for weak-gravitational-lensing fields reflecting dark matter distributions in cosmology, which include long-range interactions with long-tail probability distributions. WC-RG has a large number of potential applications in non-equilibrium systems, where the underlying distribution is not known {\it a priori}. Finally, we discuss the connection between WC-RG and deep network architectures.

연구 동기 및 목표

• 물리적 필드나 구성의 고차원 데이터셋으로부터 해밀토니안(에너지 함수)를 추정하기 위한 확장 가능하고 다스케일 방법을 개발한다.
• 상전이 근처에서 몬테카를로 샘플링의 임계적 둔화 문제를 웨이블릿 기반 군집화와 조건부 확률 모델링을 활용해 극복한다.
• 장거리 상호작용과 비정규 분포를 포함한 복잡한 다체계를 모델링한다. 이는 천체물리학적 약한 중력 렌즈 맵과 같은 시스템을 포함한다.
• 국소 잠재력 근사 이상의 이론적으로 탄탄한 에너지 기반 생성 모델을 제공한다.
• 다스케일 재규격화군 이론과 생성 모델링을 위한 딥 러닝 아키텍처 사이의 연결 고리를 설정한다.

제안 방법

• 직교 웨이블릿 기저를 사용해 미세 구조적 에너지 함수를 스케일에 따라 의존하는 상호작용 에너지의 합으로 분해한다.
• 각 스케일에서 군집화된 필드에 조건부로 주어진 미세 구조적 필드의 조건부 확률을 웨이블릿 기반 에너지 함수를 사용해 추정한다.
• empirical 분포와 모델 분포 간의 KL 발산을 최소화하기 위해 경사 하강법을 적용하며, 이동, 반사, 회전 대칭성을 상호작용 행렬에 강제로 적용한다.
• 열역학적 통합과 선형 회귀를 사용해 가우시안 기준 모델과 목표 모델 사이를 선형 보간함으로써 비정규 에너지 항을 추정한다.
• 경계에서 히트 함수와 ReLU 활성화 함수를 사용해 비선형 잠재력과 필드 값의 구속을 모델링하며, 특히 비정규 분포에 유리하다.
• 가장 거친 스케일에서 가장 미세한 스케일로 단계별로 학습을 수행함으로써, 거칠은 스케일에서 미세한 스케일로 전파함으로써 효율적인 샘플링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 웨이블릿 기반 다스케일 접근법은 상전이 근처에서 고차원 에너지 함수 추정 및 샘플링 시 임계적 둔화 문제를 피할 수 있는가?
• RQ2 웨이블릿 기반 조건부 에너지 모델은 물리적 및 천체물리학적 필드에서 장거리 상호작용과 비정규 분포를 얼마나 잘 포착하는가?
• RQ3 웨이블릿 기반 에너지 함수는 복잡한 다체계를 표현할 때 국소 잠재력 모델을 넘어서 얼마나 일반화되는가?
• RQ4 제안된 WC-RG 프레임워크와 생성 모델링에서의 딥 뉴럴 네트워크 아키텍처 사이의 관계는 무엇인가?
• RQ5 WC-RG는 비정규 통계를 가진 비평형 시스템, 예를 들어 약한 중력 렌즈 맵을 효과적으로 모델링할 수 있는가?

주요 결과

• WC-RG는 임계점(β ≈ 0.67) 근처에서 φ⁴ 모델에서 임계적 둔화를 성공적으로 피하며, 기존 몬테카를로 방법이 분산 시간이 발산하는 바람에 실패하는 상황에서도 작동한다.
• φ⁴ 모델의 에너지 함수 추정에서 높은 정확도를 달성했으며, 그림 10과 11에서 재구성된 에너지 프로파일이 진짜 에너지 함수와 매우 유사하게 나타난다.
• 약한 중력 렌즈 데이터의 경우, 23개의 히트 함수와 ReLU 경계 함수를 사용한 WC-RG 모델이 수렴 맵의 장거리 비정규 분포, 거의 라플라스 분포를 효과적으로 포착한다.
• 최적 성능에 도달하기 위해 약 3,000개의 훈련 샘플(전체 78,126개 중)만 필요로 하여 데이터 효율성이 뛰어나다.
• 대칭성이 강제로 적용된 웨이블릿 기반 상호작용 행렬을 사용함으로써 파rameter 수를 줄이고 일반화 성능을 향상시켰으며, 특히 회전 및 반사 대칭성을 가진 시스템에서 유리하다.
• 0에서 1 사이의 10개의 λ-스텝을 사용한 열역학적 통합을 통해 비정규 에너지 항을 정확하게 추정했으며, 이는 비정규 영역에서의 방법의 강건성을 검증한다.