[论文解读] Machine learning astrophysics from 21 cm lightcones: impact of network architectures and signal contamination

David Prelogović, Andrei Mesinger+3 more|arXiv (Cornell University)|Jun 30, 2021

Radio Astronomy Observations and Technology被引用 5

一句话总结

本文提出使用循环神经网络（RNNs），特别是基于长短期记忆网络（LSTM）的架构，以提升从宇宙黎明和再电离时期21厘米光锥模拟中进行参数估计的性能。结果表明，简单的RNN在干净信号上的均方误差（MSE）性能优于传统卷积神经网络（CNNs）超过2倍，且在先前CNN工作基础上实现高达8倍的性能提升；即使在类似SKA的噪声和前景污染条件下，模型仍保持稳健表现。

ABSTRACT

Imaging the cosmic 21 cm signal will map out the first billion years of our Universe. The resulting 3D lightcone (LC) will encode the properties of the unseen first galaxies and physical cosmology. Here, we build on previous work using neural networks (NNs) to infer astrophysical parameters directly from 21 cm LC images. We introduce recurrent neural networks (RNNs), capable of efficiently characterizing the evolution along the redshift axis of 21 cm LC images. Using a large database of simulated cosmic 21 cm LCs, we compare the relative performance in parameter estimation of different network architectures. These including two types of RNNs, which differ in their complexity, as well as a more traditional convolutional neural network (CNN). For the ideal case of no instrumental effects, our simplest and easiest to train RNN performs the best, with a mean squared parameter estimation error (MSE) that is lower by a factor of $\ge 2$ compared with the other architectures studied here, and a factor of $\ge 8$ lower than the previously-studied CNN. We also corrupt the cosmic signal by adding noise expected from a 1000 h integration with the Square Kilometre Array, as well as excising a foreground-contaminated 'horizon wedge'. Parameter prediction errors increase when the NNs are trained on these contaminated LC images, though recovery is still good even in the most pessimistic case (with $R^2 \ge 0.5-0.95$). However, we find no notable differences in performance between network architectures on the contaminated images. We argue this is due to the size of our data set, highlighting the need for larger data sets and/or better data augmentation in order to maximize the potential of NNs in 21 cm parameter estimation.

研究动机与目标

• 利用深度学习改进从21厘米光锥模拟中进行天体物理参数估计。
• 探究RNN（沿频率轴建模红移演化）是否在捕捉21厘米数据中的时间相关性方面优于标准CNN。
• 评估仪器噪声和前景污染（通过视界楔形剔除）对神经网络性能的影响。
• 评估在真实信号退化条件下，架构差异是否显著影响性能。
• 探讨数据集大小在信号污染条件下对先进架构性能提升的限制作用。

提出的方法

• 在大规模21厘米光锥模拟数据库上训练多种神经网络架构，包括两种RNN变体（基于LSTM）和一个2D CNN。
• 采用混合架构：2D CNN处理天球平面相关性，RNN沿频率轴建模红移演化。
• 通过最小化均方误差（MSE）进行模型训练，以预测四个关键天体物理参数：电离效率（ζ）、virial温度（Tvir）、单位恒星形成率的X射线光度（LX/SFR）和X射线谱指数（E0）。
• 应用三种污染水平：(i) 干净信号（均值去除），(ii) +SKA1-Low类噪声，(iii) +前景楔形剔除。
• 使用梯度显著性图解释模型注意力机制，并验证所学特征的物理相关性。
• 通过测试集上的决定系数（R²）和MSE评估性能。

实验结果

研究问题

• RQ1 RNN是否能在21厘米光锥参数估计中优于标准CNN，特别是通过利用红移演化？
• RQ2 添加真实仪器噪声和前景污染后，不同神经网络架构的性能如何变化？
• RQ3 在污染条件下，架构复杂度（如更深的RNN与更简单的RNN）是否显著影响参数估计精度？
• RQ4 神经网络所学表征是否具有物理可解释性，是否聚焦于相关天体物理红移时期？
• RQ5 在信号污染条件下，数据集大小在多大程度上限制了先进架构的性能提升？

主要发现

• 最简单的RNN架构——SummaryRNN，在相同干净信号数据库上，其均方误差（MSE）比同深度的CNN低约2倍，且比先前工作中使用的浅层CNN（Gillet et al. 2019）低至约8倍。
• 即使在最悲观的污染情景下——即SKA类噪声与视界楔形剔除——参数预测仍保持合理准确性，R²值在各参数间介于0.53至0.97之间。
• 在污染数据上训练时，不同网络架构之间未观察到显著性能差异，表明在污染条件下架构选择影响较小。
• 污染数据上架构性能无显著差异，归因于训练数据集规模有限，提示需要更大规模数据集或更优数据增强策略。
• 梯度显著性图证实，网络学习到了具有物理意义的特征，能准确聚焦于各参数对应的红移时期（如EoR和EoH），验证了模型的可解释性。
• 本研究证明，由于RNN能高效建模沿红移轴的序列相关性，其在21厘米光锥分析中表现优异，理想情况下优于标准CNN。