[论文解读] Designing and Mining Multi-Terabyte Astronomy Archives: The Sloan Digital Sky Survey

Alexander S. Szalay, Peter Kunszt+2 more|arXiv (Cornell University)|Jul 6, 1999

Astronomical Observations and Instrumentation参考文献 6被引用 16

一句话总结

本文提出了一种用于斯隆数字巡天（SDSS）的可扩展数据管理架构，SDSS是一个包含2亿个天体、覆盖10,000平方度天区的多太字节天文学档案。该架构提出了一种多维空间索引系统、数据分区、用于聚类的哈希技术，以及针对角距离和天体相似性的专用算子，从而实现在分布式服务器上对高维、相关联的天文学数据进行高效挖掘。

ABSTRACT

The next-generation astronomy digital archives will cover most of the universe at fine resolution in many wave-lengths, from X-rays to ultraviolet, optical, and infrared. The archives will be stored at diverse geographical locations. One of the first of these projects, the Sloan Digital Sky Survey (SDSS) will create a 5-wavelength catalog over 10,000 square degrees of the sky (see http://www.sdss.org/). The 200 million objects in the multi-terabyte database will have mostly numerical attributes, defining a space of 100+ dimensions. Points in this space have highly correlated distributions. The archive will enable astronomers to explore the data interactively. Data access will be aided by a multidimensional spatial index and other indices. The data will be partitioned in many ways. Small tag objects consisting of the most popular attributes speed up frequent searches. Splitting the data among multiple servers enables parallel, scalable I/O and applies parallel processing to the data. Hashing techniques allow efficient clustering and pair-wise comparison algorithms that parallelize nicely. Randomly sampled subsets allow debugging otherwise large queries at the desktop. Central servers will operate a data pump that supports sweeping searches that touch most of the data. The anticipated queries require special operators related to angular distances and complex similarity tests of object properties, like shapes, colors, velocity vectors, or temporal behaviors. These issues pose interesting data management challenges.

研究动机与目标

• 解决管理与查询大规模、多太字节天文学数据集的挑战，这些数据集具有高维、相关联的属性。
• 实现在10,000平方度天区范围内对2亿个天体进行交互式探索，响应时间低于一秒。
• 设计一种支持涉及角距离和天体属性相似性等复杂查询的分布式、可扩展数据架构。
• 通过多维索引、数据分区和采样技术支持高效的数据挖掘，以用于大规模查询的调试。
• 为天文学数据类型（如形状、颜色、速度矢量和时间行为）开发专用的数据库算子。

提出的方法

• 采用多维空间索引，高效管理天空中角度和空间关系。
• 将数据分区到多个服务器上，以支持并行I/O和可扩展处理。
• 使用哈希技术对数据进行聚类，以支持高效的成对比较算法。
• 创建包含频繁访问属性的小型标签对象，以加速常见查询。
• 在中央服务器上实现数据泵，以支持触及数据库大部分内容的扫描型查询。
• 引入自定义数据库算子，用于涉及天体形态、颜色、速度和时间行为的复杂相似性测试。

实验结果

研究问题

• RQ1 如何设计一个多太字节天文学数据库，以支持在10,000平方度天区范围内对2亿个天体进行交互式、高性能查询？
• RQ2 哪些索引和分区策略能够实现对高维、相关联天文学数据的高效并行访问与处理？
• RQ3 如何将针对角距离和天体属性相似性的专用算子集成到天文学关系数据库系统中？
• RQ4 哪些技术可以减少大规模天文学查询的调试时间，而无需执行完整查询？
• RQ5 在分布式环境中，如何利用哈希和多维索引实现数据的高效聚类与访问？

主要发现

• 所提出的架构通过跨多个服务器的分布式分区和并行I/O，实现了对SDSS数据库的高效、可扩展访问。
• 多维空间索引显著提升了涉及天空中角距离和空间邻近性的查询性能。
• 包含频繁访问属性的标签对象可降低常见分析操作的查询延迟。
• 基于哈希的聚类使得成对比较算法在并行环境中能够高效执行且具有良好可扩展性。
• 随机采样的数据子集可在全规模执行前，于桌面系统上有效调试大规模查询。
• 数据泵机制支持触及数据库大部分内容的扫描型查询，从而支持全面的数据挖掘。