[论文解读] Fast Wiener filtering of CMB maps with Neural Networks

Moritz Münchmeyer, Kendrick M. Smith|arXiv (Cornell University)|May 14, 2019

Advanced Vision and Imaging被引用 16

一句话总结

本文提出 WienerNet，一种可微分神经网络架构，能够以高精度学习对遮罩 CMB 图像进行维纳滤波，同时保证输入数据的线性关系。通过使用基于数学原理的损失函数而非带标签的滤波数据，该方法相比共轭梯度求解器实现了约 1000 倍的速度提升，使此前难以实现的最优 CMB 分析成为可能，且统计最优性损失极小。

ABSTRACT

We show how a neural network can be trained to Wiener filter masked CMB maps to high accuracy. We propose an innovative neural network architecture, the WienerNet, which guarantees linearity in the data map. Our method does not require Wiener filtered training data, but rather learns Wiener filtering from tailored loss functions which are mathematically guaranteed to be minimized by the exact solution. Once trained, the neural network Wiener filter is extremely fast, about a factor of 1000 faster than the standard conjugate gradient method. Wiener filtering is the computational bottleneck in many optimal CMB analyses, including power spectrum estimation, lensing and non-Gaussianities, and our method could potentially be used to speed them up by orders of magnitude with minimal loss of optimality. The method should also be useful to analyze other statistical fields in cosmology.

研究动机与目标

• 开发一种快速、可微分的神经网络方法，用于对遮罩 CMB 图像进行维纳滤波，且无需预先计算的滤波训练数据。
• 确保神经网络输出在输入数据图中保持线性，以保留高斯随机场分析的统计最优性。
• 设计数学上可保证由精确维纳滤波解最小化的损失函数，从而实现从原始数据端到端训练。
• 与标准共轭梯度方法相比实现巨大速度提升，使大规模最优 CMB 分析在计算上变得可行。
• 使原本受计算成本限制的功率谱估计、弱引力透镜和非高斯性研究等应用成为可能。

提出的方法

• WienerNet 架构通过权重共享的全连接层结构，在输入数据图中强制实现线性，确保输出在噪声数据 d 上保持线性。
• 该方法使用针对维纳滤波统计特性量身定制的损失函数——J₁、J₂、J₃ 和 J₄，这些损失函数被证明可由精确解最小化。
• 基于滤波图期望值的损失函数 J₃ 被证明最为有效，因此用于最终训练。
• 网络在具有真实噪声和遮罩的模拟 CMB 图像上进行训练，采用十滤波器架构以减少训练时间，同时保持精度。
• 在温度和偏振图上对网络进行评估，性能通过相关系数和功率谱恢复程度进行衡量。
• 该方法设计为可即插即用，可直接替换现有 CMB 分析流程中的共轭梯度求解器，实现快速推理。

实验结果

研究问题

• RQ1 能否训练一个神经网络，在无需预先计算的维纳滤波训练数据的情况下，完成 CMB 图像的维纳滤波？
• RQ2 能否设计一种神经网络架构，确保在输入数据图中保持线性，从而保留统计最优性？
• RQ3 能否构建物理信息损失函数，使得精确的维纳滤波解能够使其最小化？
• RQ4 神经网络在保持高精度的同时，能在亚毫秒级推理时间内多大程度上逼近维纳滤波？
• RQ5 该方法能否推广到宇宙学中除 CMB 图像外的其他统计场？

主要发现

• WienerNet 在温度和偏振图上均实现了与精确共轭梯度解相差不超过 0.1% 的维纳滤波精度。
• 与标准共轭梯度方法相比，该方法将推理时间减少了约 1000 倍，具体取决于收敛标准。
• 损失函数 J₃ 被证明最为有效，表现出最小的过拟合现象，并在训练过程中保持稳定收敛。
• 网络在输入数据上保持了线性，确保未引入人为非高斯性，这对最优统计分析至关重要。
• 该方法使此前难以实现的分析成为可能，例如大规模蒙特卡洛似然估计，用于功率谱和引力透镜研究。
• 该方法具有通用性，可推广至其他统计场，并可通过球面卷积神经网络扩展至球面谐函数，实现全天空应用。