[논문 리뷰] Can denoising diffusion probabilistic models generate realistic astrophysical fields?

Nayantara Mudur, Douglas P. Finkbeiner|arXiv (Cornell University)|2022. 11. 22.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

이 논문은 잡음 제거 확률적 모델(Denosing Diffusion Probabilistic Models, DDPMs)이 천체물리학적 필드를 현실적으로 생성할 수 있는지 조사한다. 천체역학 시뮬레이션에서 어둠성 물질 밀도 필드를 생성하고, 실제 간성간-dust 지도를 정제하는 데 성공적으로 적용한 바, 모델은 구조적으로 정확한 샘플을 생성하며, 일반적인 정규화 방법보다 정제 성능이 뛰어나, 천체물리학 데이터 분석에서 에미레이터와 사전 확률로의 잠재력을 보여준다.

ABSTRACT

Score-based generative models have emerged as alternatives to generative adversarial networks (GANs) and normalizing flows for tasks involving learning and sampling from complex image distributions. In this work we investigate the ability of these models to generate fields in two astrophysical contexts: dark matter mass density fields from cosmological simulations and images of interstellar dust. We examine the fidelity of the sampled cosmological fields relative to the true fields using three different metrics, and identify potential issues to address. We demonstrate a proof-of-concept application of the model trained on dust in denoising dust images. To our knowledge, this is the first application of this class of models to the interstellar medium.

연구 동기 및 목표

• DDPMs가 천체역학 시뮬레이션과 실제 간성간-dust 지도로부터 현실적인 천체물리학적 필드를 학습하고 생성할 수 있는지 평가하는 것.
• 우주론적으로 관련된 다수의 요약 통계량을 사용하여 생성된 어둠성 물질 밀도 필드의 정확도를 벤치마킹하는 것.
• DDPMs를 간성간-dust 이미지의 정제 도구로 적용하여, 전통적인 정규화 방법보다 향상된 성능을 보이는지 탐색하는 것.
• 점수 기반 생성 모델을 천체물리학 추론 작업에서 물리적 사전 확률로 사용할 수 있는지 증명하는 것.
• 특히 주요 통계적 성질을 유지하는 데 있어 한계를 규명하고, 향후 DDPMs의 천체물리학 응용을 향한 향상 방향을 제시하는 것.

제안 방법

• CAMELS Multifield Dataset에서 유도된 64×64 및 128×128 어둠성 물질 밀도 필드의 로그 변환된 데이터를 사용하여 2000단계 동안 선형 분산 스케줄을 적용해 DDPM을 훈련시켰다.
• 훈련 다양성과 일반화 능력을 향상시키기 위해 데이터 증강(회전, 반전, 이동 변환)을 적용했다.
• 다양한 동적 범위에서 안정적인 훈련을 위해 픽셀 강도를 [-1, 1]로 정규화했다.
• 역확산 과정에서 잡음 예측을 위해 신경망을 사용하였으며, Adam 최적화를 통해 허버 손실을 최소화했다.
• 잡음이 첨가된 실제 간성간-dust 이미지를 입력으로 하여, 훈련된 모델을 사용해 반복적으로 확산 과정을 역행함으로써 정제된 이미지를 생성했다.
• RMSE와 잔차 상관 계수 지표를 사용하여 DDPM의 정제 성능을 일반화된 정규화 기반 벤치마크와 비교했다.

실험 결과

연구 질문

• RQ1 DDPMs는 실제 시뮬레이션 필드의 주요 우주론적 요약 통계량을 충족하는 어둠성 물질 밀도 필드를 생성할 수 있는가?
• RQ2 정제 모델로 적용했을 때, DDPMs는 간성간-dust 지도의 필라멘트 구조를 얼마나 잘 재구성하는가?
• RQ3 DDPM 기반 정제가 노이즈가 많은 천체물리학 이미지에서 물리적 구조를 보존하는 데 있어 표준 가우시안 정규화보다 우수한가?
• RQ4 무조건적 DDPMs가 우주론적 또는 천체물리학적 변환에 대해 통계적 불변성을 유지하는 데 있어 한계는 무엇인가?
• RQ5 DDPMs는 추론 파이프라인에서 복잡하고 비정규 분포를 띠는 천체물리학적 필드에 대해 효과적인 에미레이터 또는 사전 확률로 기능할 수 있는가?

주요 결과

• DDPMs는 파wer 스펙트럼에서 실제 시뮬레이션 필드와 10% 이내로 일치하는 어둠성 물질 밀도 필드를 성공적으로 생성하여 강력한 통계적 정밀도를 입증했다.
• 모델은 필라멘트와 공허와 같은 복잡한 비정규 분포 구조를 잘 포착하여 천체물리학적 형태의 복잡한 특성을 모델링할 수 있음을 보여주었다.
• 정제 작업에서 DDPM은 필라멘트와의 잔차 상관도를 일반화된 정규화 기반 벤치마크 대비 3.3배 감소시켜 구조 보존 능력이 뛰어나다는 것을 입증했다.
• 정량적 성능 측면에서도 우수했으며, 저신호 영역에서 RMSE가 낮고, 기저 구조와의 잔차 상관도가 감소했다.
• 모델은 평균 이미지 강도의 20% 수준의 노이즈 강도에 대해 강건성을 보였으며, 역확산 과정에서도 구조적 일관성을 유지했다.
• 본 연구는 DDPMs를 간성간-dust 지도에 적용한 최초의 사례로, 은하간 매질 과학 분야에서 생성 모델링의 새로운 길을 열었다.