[论文解读] Can denoising diffusion probabilistic models generate realistic astrophysical fields?

Nayantara Mudur, Douglas P. Finkbeiner|arXiv (Cornell University)|Nov 22, 2022

Generative Adversarial Networks and Image Synthesis被引用 7

一句话总结

本文研究去噪扩散概率模型（DDPMs）是否能够生成逼真的天体物理场，证明了其在宇宙学模拟中生成暗物质密度场以及去噪星际尘埃图象方面的成功。模型生成的样本结构准确，且在去噪方面优于高斯平滑方法，表明其在天体物理数据分析中作为代理模型和先验模型具有强大潜力。

ABSTRACT

Score-based generative models have emerged as alternatives to generative adversarial networks (GANs) and normalizing flows for tasks involving learning and sampling from complex image distributions. In this work we investigate the ability of these models to generate fields in two astrophysical contexts: dark matter mass density fields from cosmological simulations and images of interstellar dust. We examine the fidelity of the sampled cosmological fields relative to the true fields using three different metrics, and identify potential issues to address. We demonstrate a proof-of-concept application of the model trained on dust in denoising dust images. To our knowledge, this is the first application of this class of models to the interstellar medium.

研究动机与目标

• 评估DDPMs是否能够从宇宙学模拟和真实的星际尘埃图象中学习并生成逼真的天体物理场。
• 使用多种与宇宙学相关的汇总统计量，对生成的暗物质密度场的保真度进行基准测试。
• 探索DDPMs作为去噪工具在星际尘埃图像中的应用，相较于传统平滑方法表现更优。
• 建立基于得分的生成模型作为天体物理推断任务中物理先验的可行性概念验证。
• 识别DDPMs在天体物理应用中保留关键统计特性方面的局限性及未来改进方向。

提出的方法

• 在CAMELS多场数据集的64×64和128×128对数变换后的暗物质密度场上训练DDPM，采用2000步的线性方差调度。
• 通过旋转、翻转和位移变换进行数据增强，以提升训练多样性与泛化能力。
• 采用最小-最大归一化将像素强度缩放至[-1, 1]，以实现不同动态范围下的稳定训练。
• 使用神经网络预测反向扩散过程中的噪声，通过Adam优化器最小化Huber损失。
• 通过从噪声输入迭代反向扩散过程，将训练好的模型应用于真实星际尘埃图像的去噪。
• 使用RMSE和残差相关性指标，将DDPM的去噪性能与高斯平滑基线进行对比。

实验结果

研究问题

• RQ1 DDPM能否生成与真实模拟场在关键宇宙学汇总统计量上匹配的暗物质密度场？
• RQ2 当DDPM作为去噪模型应用于星际尘埃图象时，其在重建丝状结构方面的表现如何？
• RQ3 DDPM去噪是否在保留噪声天体物理图像中物理结构方面优于标准高斯平滑方法？
• RQ4 无条件DDPM在面对宇宙学或天体物理变换时，其统计不变性保持方面存在哪些局限性？
• RQ5 DDPM能否作为复杂、非高斯天体物理场在推断流程中的有效代理模型或先验模型？

主要发现

• DDPM成功生成了与真实模拟场在功率谱上差异在10%以内的暗物质密度场，表明其具有强大的统计保真度。
• 模型捕捉到了包括丝状结构与空洞在内的复杂非高斯结构，展示了其对复杂天体物理形态的建模能力。
• 在去噪任务中，与高斯平滑基线相比，DDPM将与丝状结构的残差相关性降低了3.3倍，表明其在结构保持方面表现更优。
• 去噪性能在定量上更优，表现为低信号区域RMSE更低，且与底层结构的残差相关性更小。
• 模型在对应于平均图像强度20%的噪声水平下表现出鲁棒性，反向采样过程中保持了结构一致性。
• 本研究首次将DDPM应用于星际尘埃图象，为星际介质科学中的生成建模开辟了新路径。