[论文解读] Challenges for LSST scale data sets

M. J. Way|arXiv (Cornell University)|Aug 25, 2011

Astronomy and Astrophysical Research参考文献 5被引用 3

一句话总结

本文研究了大型合成孔径望远镜（LSST）数据洪流带来的计算挑战，对比了从2MASS到SDSS的数据访问模式，并预测了未来的工作流程。文章认为，尽管由于存储成本下降，LSST数据的本地存储在技术上是可行的，但I/O瓶颈以及高级分析中O(N²)的复杂度将不可避免地推动计算向数据库本地化转变，呼吁建设强大且高I/O性能的计算中心，以支持LSST规模数据集的科学利用。

ABSTRACT

The Large Synoptic Survey Telescope (LSST) simulator being built by Andy Connolly and collaborators is an impressive undertaking and should make working with LSST in the beginning stages far more easy than it was initially with the Sloan Digital Sky Survey. However, I would like to focus on an equally important problem that has not yet been discussed here, but in the coming years the community will need to address -- can we deal with the flood of data from LSST and will we need to rethink the way we work?

研究动机与目标

• 评估2MASS和SDSS中使用的传统数据分析工作流程是否能够扩展至LSST的海量数据集。
• 评估LSST数据的本地存储和传统工具使用的可行性。
• 研究是否需要采用新的计算范式，特别是数据本地计算，以处理LSST规模的数据。
• 明确高性能计算中心在推动LSST数据科学发现中的作用。

提出的方法

• 对比2MASS（基于磁盘、ASCII目录）到SDSS（基于SQL、Web查询接口）的历史数据访问模式，建立数据交互的基准。
• 分析LSST的数据规模，估算10年中将产生10 PB的查询数据库和60 PB的图像数据，并预测计算需求。
• 应用阿姆达尔定律的经验法则评估系统平衡性，重点关注I/O性能相对于CPU和内存增长的限制。
• 评估在LSST规模数据上运行O(N²)算法（如聚类、分类）的可行性，指出即使O(N)算法在缺乏高I/O带宽的情况下也可能不可行。
• 提出只有高I/O性能的计算中心（如国家级超算中心）才能支持最耗数据的科学工作流。
• 倡导继续使用基于SQL的Web接口（如CASJOBS），但警告本地数据使用可能受I/O性能限制。

实验结果

研究问题

• RQ1 在I/O性能受限的情况下，研究人员是否仍能继续使用传统2MASS风格的本地数据分析工具处理LSST规模的数据集？
• RQ2 考虑到规模和I/O需求，SDSS风格的基于Web的SQL查询在LSST数据上还能在多大程度上保持可行性？
• RQ3 对于涉及O(N²)算法的LSST科学目标，是否需要从根本上转向数据本地计算？
• RQ4 高I/O性能计算中心在支持LSST数据可扩展分析中扮演什么角色？
• RQ5 存储密度和I/O性能的历史趋势是否足以支持LSST数据的本地存储与分析？

主要发现

• 由于存储成本下降和磁盘密度提升，将整个LSST数据集存储在桌面系统上在技术上是可行的。
• 尽管本地存储在技术上可行，但顺序I/O瓶颈（特别是每块磁盘100MB/s的限制）将严重制约使用传统工具处理LSST规模数据的性能。
• 一个能够处理海量I/O的平衡系统，需要约100万个磁盘，每个磁盘提供100MB/s的吞吐量，凸显了重大的基础设施挑战。
• 根据阿姆达尔定律，I/O瓶颈意味着仅提升CPU和内存性能不足以解决问题，必须同步提升I/O性能，否则许多传统工具在完整分析LSST数据时将不可行。
• 涉及O(N²)操作（如聚类、密度估计）的科学工作流，在缺乏高吞吐I/O的本地系统上将不可行，必须依赖集中式数据中心的计算能力。
• 国家级超算中心（如PSC、NCSA和NAS）最适合作为LSST数据的托管平台，并支持需要数据本地计算的专家用户。