[논문 리뷰] Field Level Neural Network Emulator for Cosmological N-body Simulations

Drew Jamieson, Yin Li외 4명|arXiv (Cornell University)|2022. 06. 09.

Astronomy and Astrophysical Research인용 수 6

한 줄 요약

이 논문은 다양한 $\Omega_{\mathrm{m}}$ 우주론적 모형에서 비선형 구조 형성의 정확한 예측을 가능하게 하는, 우주론적 N체 시뮬레이션을 위한 미분 가능하고 필드 수준의 신경망 에뮬레이터를 소개한다. 선형 초기 조건에서 입자 이동과 속도를 스타일 기반 컨볼루션 네트워크로 모델링함으로써, $k \sim 1\ \mathrm{Mpc}^{-1}\,h$까지 하위 백분율 정확도를 달성하며, COLA와 기본 신경망을 능가하면서도 필드 수준에서 빠르고 미분 가능한 추론을 가능하게 한다.

ABSTRACT

We build a field level emulator for cosmic structure formation that is accurate in the nonlinear regime. Our emulator consists of two convolutional neural networks trained to output the nonlinear displacements and velocities of N-body simulation particles based on their linear inputs. Cosmology dependence is encoded in the form of style parameters at each layer of the neural network, enabling the emulator to effectively interpolate the outcomes of structure formation between different flat $Λ$CDM cosmologies over a wide range of background matter densities. The neural network architecture makes the model differentiable by construction, providing a powerful tool for fast field level inference. We test the accuracy of our method by considering several summary statistics, including the density power spectrum with and without redshift space distortions, the displacement power spectrum, the momentum power spectrum, the density bispectrum, halo abundances, and halo profiles with and without redshift space distortions. We compare these statistics from our emulator with the full N-body results, the COLA method, and a fiducial neural network with no cosmological dependence. We find our emulator gives accurate results down to scales of $k \sim 1\ \mathrm{Mpc}^{-1}\, h$, representing a considerable improvement over both COLA and the fiducial neural network. We also demonstrate that our emulator generalizes well to initial conditions containing primordial non-Gaussianity, without the need for any additional style parameters or retraining.

연구 동기 및 목표

• 대규모 구조의 전체 비선형 진화를 포괄하는, 빠르고, 미분 가능하며 정확한 필드 수준의 에뮬레이터를 개발하는 것.
• 자료를 압축하고 정보를 손실시키는 전통적 요약 통계의 한계를 극복하기 위해, 데이터 압축 없이 전체 필드 추론을 가능하게 하는 것.
• 특히 $\Omega_{\mathrm{m}}$에 대한 우주론적 매개변수 의존성을 스타일 조절을 통해 신경망 아키텍처에 직접 통합함으로써, 재학습 없이도 다양한 우주론 모형 간의 보간을 가능하게 하는 것.
• 비선형 영역($k \sim 1\ \mathrm{Mpc}^{-1}\,h$)에서 높은 정확도를 확보하면서도, 후속 추론 작업을 위한 계산 효율성과 미분 가능성 유지하는 것.
• 추가 정밀조정이나 재학습 없이도 비가우시안 초기 조건에 일반화할 수 있도록 하는 것.

제안 방법

• 에뮬레이터는 선형 초기 밀도 필드에서 입자 이동과 속도를 예측하기 위해 두 개의 별도한 3D U-Net 유사 컨볼루션 신경망을 사용한다.
• 우주론적 의존성은 스타일 조절을 통해 표현된다: 학습된 스타일 벡터가 각 레이어의 컨볼루션 커널 가중치를 조절함으로써, 다양한 우주론 모형 간의 보간이 가능해진다.
• 이동 네트워크는 복합 손실 함수로 훈련된다: $\log L_{\delta} + \lambda \log L_{\mathbf{\Psi}}$, 여기서 $L_{\delta}$는 CIC 할당을 통한 입자 밀도에 대한 MSE이며, $L_{\mathbf{\Psi}}$는 이동 필드에 대한 MSE이며, $\lambda = 3$이다.
• 속도 네트워크는 다중 척도 손실을 사용한다: $\log L_{\mathbf{v}(\mathbf{q})} + \log L_{\mathbf{v}(\mathbf{x})} + \log L_{{\mathbf{v}}^{2}(\mathbf{x})}$, 여기서 마지막 항은 질량 가중 평균 속도 분산 잔차를 최소화하여 적절한 적색편이 공간 왜곡을 모델링한다.
• GPU 메모리 제약 내에서 큰 $512^3$ 시뮬레이션 필드를 처리하기 위해, 이동성 등변성 보존을 위해 주기적 팯딩을 사용하는 $128^3$ 크기의 쿠파 기반 추론을 사용한다.
• map2map 프레임워크를 통해 효율적인 데이터 로딩이 이루어지며, 12TB의 데이터를 다룰 때 GPU가 가동되지 않는 것을 방지하여 대규모 훈련을 효율적으로 가능하게 한다.

실험 결과

연구 질문

• RQ1 요약 통계에 의존하지 않고도, 다양한 우주론적 매개변수 범위에서 비선형 대규모 구조 형성의 정확한 예측을 미분 가능한 신경망 에뮬레이터가 수행할 수 있는가?
• RQ2 필드 수준의 에뮬레이터는 파워 스펙트럼, 비스펙트럼, 헬로 밀도, 적색편이 공간 왜곡과 같은 주요 우주론적 통계를 얼마나 잘 재현하는가?
• RQ3 추가 재학습이나 추가 스타일 파rameter 없이도, 초기 조건에 원천 비가우시안성($f_{\mathrm{NL}} \neq 0$)이 존재할 경우에 일반화 가능한가?
• RQ4 스타일 조절을 통한 우주론적 의존성 통합이 기본 신경망에 비해 일반화와 정확도 향상에 얼마나 기여하는가?
• RQ5 비선형 영역에서 하위 백분율 정확도를 유지하는 최소 스케일($k$)은 어느 정도인가?

주요 결과

• 에뮬레이터는 $k \sim 1\ \mathrm{Mpc}^{-1}\,h$까지의 밀도 파워 스펙트럼과 이동 파워 스펙트럼에서 하위 백분율 정확도를 달성하며, COLA 방법과 우주론적 의존성이 없는 기본 신경망을 크게 능가한다.
• 두 번째 순서의 속도 손실($L_{{\mathbf{v}}^{2}}$)을 사용함으로써 적색편이 공간 왜곡에서 Fingers of God 효과를 정확히 재현한다. 이는 질량 가중 평균 속도 분산 잔차를 최소화함으로써 달성된다.
• 추가 재학습이나 추가 스타일 파ram터 없이도, 원천 비가우시안성($f_{\mathrm{NL}} \neq 0$)이 존재하는 초기 조건에 대해 잘 일반화되며, 비가우시안 초기 조건에 대한 강건성을 시사한다.
• 미분 가능한 아키텍처 덕분에 빠른 필드 수준의 추론이 가능하며, 요약 통계에서 발생하는 자료 압축 손실을 피하고 전체 정보 내용을 유지한 채로 가능성을 갖는 추론과 매개변수 제약을 지원한다.
• 스타일 기반 조절을 통한 효과적인 보간 덕분에, 평탄한 $\Lambda\mathrm{CDM}$ 우주론에서 $\Omega_{\mathrm{m}}$ 값이 다양할 때에도 높은 정확도를 유지한다.
• 12TB의 데이터를 훈련에 활용할 수 있었으며, 이는 map2map 프레임워크 덕분에 데이터 로딩 최적화로 GPU 활용률 저하를 방지함으로써 가능했으며, 이는 $512^3$ 필드에서의 대규모 효율적 훈련을 가능하게 했다.