[论文解读] CANFAR+Skytree: A Cloud Computing and Data Mining System for Astronomy

Nicholas M. Ball|arXiv (Cornell University)|Dec 14, 2013

Astronomical Observations and Instrumentation被引用 3

一句话总结

本文提出 CANFAR+Skytree，这是全球首个面向天文学的基于云的数据挖掘系统，将 CANFAR 的可扩展云基础设施与 Skytree 的高性能机器学习算法相结合。该系统实现了对天文物体数据集的大规模、线性可扩展的数据挖掘——通过计算来自 CFHTLS 巡天的 130 亿个天体目录的光度红移概率密度函数，成功实现了对规模达千万亿字节（petascale）数据的全复杂度分析。

ABSTRACT

At the Canadian Astronomy Data Centre, we have combined our cloud computing system, CANFAR, with the world's most advanced machine learning software, Skytree, to create the world's first cloud computing system for data mining in astronomy. CANFAR provides a generic environment for the storage and processing of large datasets, removing the requirement to set up and maintain a computing system when implementing an extensive undertaking such as a survey pipeline. 500 processor cores and several hundred terabytes of persistent storage are currently available to users. The storage is implemented via the International Virtual Observatory Alliance's VOSpace protocol, and is accessible both interactively, and to all processing jobs. The user interacts with CANFAR by utilizing virtual machines, which appear to them as equivalent to a desktop. Each machine is replicated as desired to perform large-scale parallel processing. Such an arrangement enables the user to immediately install and run the same astronomy code that they already utilize, in the same way as on a desktop. In addition, unlike many cloud systems, batch job scheduling is handled for the user on multiple virtual machines by the Condor job queueing system. Skytree is installed and run just as any other software on the system, and thus acts as a library of command line data mining functions that can be integrated into one's wider analysis. Thus we have created a generic environment for large-scale analysis by data mining, in the same way that CANFAR itself has done for storage and processing. Because Skytree scales to large data in linear runtime, this allows the full sophistication of the huge fields of data mining and machine learning to be applied to the hundreds of millions of objects that make up current large datasets. We demonstrate the utility of the CANFAR+Skytree system by showing science results obtained. [Abridged]

研究动机与目标

• 弥合天文学中对小规模数据集进行复杂分析与对大规模数据集仅能进行简单分析之间的差距。
• 使天文学家能够在无需掌握机器学习或基础设施管理专业知识的情况下，对大规模数据集执行高级数据挖掘。
• 提供一个可扩展的、基于云的平台，整合 CANFAR 的存储与计算能力，以及 Skytree 的高性能机器学习算法。
• 在真实天文数据上展示该系统的能力，特别是利用完整的概率密度函数进行光度红移估计。
• 为更广泛的天文学界创建一个开放、可访问的系统，用于对下一代巡天数据（如 LSST）进行大规模数据挖掘。

提出的方法

• 利用 CANFAR 的云基础设施，提供 500 个处理器核心和数百 TB 的符合 VOSpace 标准的持久存储，可作为挂载的文件系统访问。
• 使用虚拟机模拟桌面环境，使用户能够在可扩展、并行化的云环境中透明运行现有天文学软件，无需修改。
• 将 Skytree 集成为命令行形式的机器学习函数库，支持无缝集成到数据处理流水线中。
• 利用 Condor 作业队列系统自动在多个虚拟机上调度批处理作业，抽象底层并行化细节。
• 应用 Skytree 的优化算法（如 allkn（k-最近邻）和 kde（核密度估计）），实现与数据集规模线性增长的性能，避免二次方复杂度。
• 通过将计算任务分发到 CANFAR 的可扩展计算节点上，处理大规模天文目录，确保高性能与可复现性。

实验结果

研究问题

• RQ1 基于云的系统能否有效结合可扩展存储与高性能数据挖掘，用于天文数据集？
• RQ2 Skytree 的线性可扩展机器学习算法能否在天文云环境中实际部署，以分析千万亿字节级数据？
• RQ3 能否利用该系统高效计算大规模目录中光度红移的完整概率密度函数？
• RQ4 CANFAR 与 Skytree 的集成是否使非专业人员能够对大规模天文数据集执行高级数据挖掘？
• RQ5 该系统能否处理下一代巡天（如 LSST）所预期规模的数据集？

主要发现

• CANFAR+Skytree 系统成功实现了对来自 CFHTLS 巡天的 130 亿个天体实例的光度红转移概率密度函数（PDF）的计算，展示了对千万亿字节级数据的全复杂度分析能力。
• Skytree 的 allkn 算法实现了与数据集规模线性增长的运行时间，证实其可扩展至大规模天文数据集，且不会出现二次方性能退化。
• 性能基准测试显示，运行时间的误差范围小于数据点本身，表明系统具有高度可复现性与稳定性，尤其在高内存节点（256GB）上表现更优。
• 该系统使天文学家能够在云环境中运行其现有代码，其体验与本地桌面无异，并通过 Condor 实现自动并行化。
• Skytree 与 CANFAR 基础设施的集成，使非专业人员无需掌握底层算法知识，即可将先进的机器学习技术应用于天文数据。
• 该系统已具备生产环境部署能力，对天文学界开放使用，且已成功处理与 LSST 预期规模相当的数据集。