[论文解读] Learning an Astronomical Catalog of the Visible Universe through Scalable Bayesian Inference

Jeffrey Regier, Kiran Pamnany+5 more|arXiv (Cornell University)|Nov 10, 2016

Gaussian Processes and Bayesian Inference参考文献 12被引用 7

一句话总结

本文提出了一种基于 Julia 的可扩展、并行化实现，采用变分贝叶斯推断方法对 Celeste 天文星表推断系统进行加速，实现了在大规模数据集上高精度星表生成并附带不确定性量化——在最多 8192 个核心上展示了优异的强可扩展性，并生成了迄今最大的星表，其不确定性估计基于现实的统计模型。

ABSTRACT

Celeste is a procedure for inferring astronomical catalogs that attains state-of-the-art scientific results. To date, Celeste has been scaled to at most hundreds of megabytes of astronomical images: Bayesian posterior inference is notoriously demanding computationally. In this paper, we report on a scalable, parallel version of Celeste, suitable for learning catalogs from modern large-scale astronomical datasets. Our algorithmic innovations include a fast numerical optimization routine for Bayesian posterior inference and a statistically efficient scheme for decomposing astronomical optimization problems into subproblems. Our scalable implementation is written entirely in Julia, a new high-level dynamic programming language designed for scientific and numerical computing. We use Julia's high-level constructs for shared and distributed memory parallelism, and demonstrate effective load balancing and efficient scaling on up to 8192 Xeon cores on the NERSC Cori supercomputer.

研究动机与目标

• 解决大规模天体图像分析中精确贝叶斯后验推断的计算不可行性问题。
• 实现从大规模天体数据集（如 LSST 和 SDSS）中高精度、带不确定性的星表生成。
• 开发 Celeste 的可扩展、并行实现，确保在现代 HPC 系统上保持统计效率和计算性能。
• 证明高级语言 Julia 在真实世界大规模数据分析中高性能科学计算的可行性。
• 通过算法创新与高效并行化结合，将贝叶斯推断扩展至大规模数据集，超越小规模数据应用。

提出的方法

• 采用变分推断方法，以计算高效的方式近似难以处理的后验分布。
• 设计一种统计高效的分解方案，将全局优化问题分解为分布在各计算节点上的子问题。
• 基于二阶确定性方法实现快速数值优化过程，以高效逼近后验分布。
• 利用 Julia 对共享内存和分布式内存并行计算的原生支持，实现有效的负载均衡与强可扩展性。
• 开发并优化一个 Julia 包，以支持在 NERSC Cori 等 HPC 集群上的多节点、分布式内存并行计算。
• 采用因子化变分分布来建模隐变量参数（如源位置、流量、形态），同时支持不确定性量化。

实验结果

研究问题

• RQ1 能否在不牺牲统计精度的前提下，将贝叶斯后验推断扩展至大规模天体数据集（如 LSST）？
• RQ2 如何通过算法分解与优化降低贝叶斯推断的计算负担？
• RQ3 高级编程语言（如 Julia）在多大程度上可实现与 HPC 级性能相当的性能，用于复杂科学工作负载？
• RQ4 能否在数百万个光源上可靠地大规模计算来自现实统计模型的不确定性估计？
• RQ5 随着计算资源和数据规模的增加，并行化 Celeste 实现的性能如何变化？

主要发现

• 可扩展的 Celeste 实现已在 NERSC Cori 超算机上实现最多 8192 个 Xeon 核心的强可扩展性与弱可扩展性。
• 针对 SDSS 一部分数据生成的新星表，在源位置、颜色、星系椭率和角度等参数估计上相比先前方法有显著改进。
• 该星表是迄今使用现实统计模型生成不确定性估计的最大星表。
• 该方法成功将贝叶斯推断扩展至比文献中以往报道更大的数据集，证明其在小规模应用之外的可行性。
• Julia 的使用实现了高效的高级并行编程，性能可与低级 HPC 实现相媲美。
• 未来工作将探索所有光源的联合优化、自动源数估计，以及更表达性强的后验近似所需的随机优化。