[论文解读] Collaborative Nested Sampling: Big Data vs. complex physical models

Johannes Büchner|arXiv (Cornell University)|Jul 14, 2017

Data Analysis with R被引用 3

一句话总结

本文提出协作嵌套采样（collaborative nested sampling），一种可扩展的贝叶斯推断方法，通过在多个数据集之间共享活跃点（live points），减少了分析大规模天文数据集时所需的物理模型评估次数。该方法实现了对复杂、计算耗时模型的高效参数估计、模型比较和不确定性量化，即使在存在非均匀误差的情况下亦可实现，且模型评估次数与数据集数量呈亚线性增长。

ABSTRACT

The data torrent unleashed by current and upcoming astronomical surveys demands scalable analysis methods. Many machine learning approaches scale well, but separating the instrument measurement from the physical effects of interest, dealing with variable errors, and deriving parameter uncertainties is often an after-thought. Classic forward-folding analyses with Markov Chain Monte Carlo or Nested Sampling enable parameter estimation and model comparison, even for complex and slow-to-evaluate physical models. However, these approaches require independent runs for each data set, implying an unfeasible number of model evaluations in the Big Data regime. Here I present a new algorithm, collaborative nested sampling, for deriving parameter probability distributions for each observation. Importantly, the number of physical model evaluations scales sub-linearly with the number of data sets, and no assumptions about homogeneous errors, Gaussianity, the form of the model or heterogeneity/completeness of the observations need to be made. Collaborative nested sampling has immediate application in speeding up analyses of large surveys, integral-field-unit observations, and Monte Carlo simulations.

研究动机与目标

• 解决使用缓慢、复杂的物理模型分析数百万个天文数据集时面临的计算瓶颈。
• 克服传统马尔可夫链蒙特卡洛（Markov Chain Monte Carlo）和嵌套采样方法的局限性，后者需对每个数据集独立运行，难以在大规模场景下应用。
• 在不假设噪声为高斯分布或误差同质化的情况下，实现在大规模巡天中对完整后验分布、不确定性及模型比较的贝叶斯推断。
• 利用相似数据集之间的共享采样区域，减少总模型评估次数，实现与数据集数量的亚线性缩放。
• 支持将物理知识整合到数据分析中，有效分离复杂真实世界数据中的仪器效应与天体物理信号。

提出的方法

• 通过允许来自多个数据集的活跃点在似然约束之间共享，对经典嵌套采样进行改进，利用数据集之间的结构相似性。
• 从多个数据集的似然等高线并集中进行拒绝采样，在采样区域相似的假设下，保持有效的体积收缩估计。
• 将模型分解为计算缓慢的物理组件（如光谱合成）和每个数据集快速计算的似然部分（如泊松或高斯似然）。
• 动态分组具有相似似然等高线的数据集，以优化共享采样，减少冗余的模型评估。
• 应用MultiNest风格的椭球聚类方法，在高维参数空间中高效采样，同时保持收敛性保证。
• 在不同数据集之间存储并重用似然评估结果，尤其在早期迭代中，此时似然阈值较低，采样区域重叠显著。

实验结果

研究问题

• RQ1 能否将嵌套采样方法改进为同时分析 N 个大型天文数据集，同时将总物理模型评估次数控制在 N 以下？
• RQ2 当在具有可变误差的异质性数据集之间共享采样点时，如何保持完整的贝叶斯推断（包括后验分布和模型比较）？
• RQ3 与独立运行的嵌套采样相比，协作嵌套采样在模型评估次数上能实现多大程度的亚线性缩放？
• RQ4 该方法是否能处理复杂、非高斯及非均匀的噪声模型，而无需对误差同质性或高斯性做假设？
• RQ5 在真实世界高维数据（如具有空间相关物理特性的积分场单元光谱）上，协作嵌套采样表现如何？

主要发现

• 协作嵌套采样将 4,223 根 MUSE 纤维的似然评估次数从 1440 万次（耗时 140 小时）降低至仅 280 万次（耗时 14.9 小时），效率提升四倍。
• 该方法在模型评估次数上实现了与数据集数量的亚线性缩放，显著优于简单的并行化方法。
• 成功为真实 MUSE 积分场单元观测中 4,223 个空间像素中的每一个推导出完整的后验分布，即使未假设平滑性或空间相关性。
• 在模拟示例中，该算法通过贝叶斯因子成功实现模型比较，当数据支持时能正确识别更复杂的模型。
• 该方法支持使用任意物理模型和似然函数的完整贝叶斯推断，包括非高斯和异质性噪声，无需简化假设。
• 该方法可立即应用于大规模巡天，如 eROSITA 的全天 X 射线巡天，可高效分析 300 万个源，其探测器响应具有复杂的位置依赖性。