[論文レビュー] Designing and Mining Multi-Terabyte Astronomy Archives: The Sloan Digital Sky Survey

Alexander S. Szalay, Peter Kunszt+2 more|arXiv (Cornell University)|Jul 6, 1999

Astronomical Observations and Instrumentation参考文献 6被引用数 16

ひとこと要約

本論文は、スローンデジタルスカイサーベイ（SDSS）のスケーラブルなデータ管理アーキテクチャを提示する。SDSSは、1万平方度の空域にわたる2億個の天体を含む、複数テラバイトに及ぶ天文学アーカイブである。本研究では、多次元空間インデックス、データパーティショニング、クラスタリングのハッシュ化、および角度距離と天体類似度のための特殊演算子を提案することで、分散サーバー上で高次元で相関のある天文学的データを効率的にマイニング可能にする。

ABSTRACT

The next-generation astronomy digital archives will cover most of the universe at fine resolution in many wave-lengths, from X-rays to ultraviolet, optical, and infrared. The archives will be stored at diverse geographical locations. One of the first of these projects, the Sloan Digital Sky Survey (SDSS) will create a 5-wavelength catalog over 10,000 square degrees of the sky (see http://www.sdss.org/). The 200 million objects in the multi-terabyte database will have mostly numerical attributes, defining a space of 100+ dimensions. Points in this space have highly correlated distributions. The archive will enable astronomers to explore the data interactively. Data access will be aided by a multidimensional spatial index and other indices. The data will be partitioned in many ways. Small tag objects consisting of the most popular attributes speed up frequent searches. Splitting the data among multiple servers enables parallel, scalable I/O and applies parallel processing to the data. Hashing techniques allow efficient clustering and pair-wise comparison algorithms that parallelize nicely. Randomly sampled subsets allow debugging otherwise large queries at the desktop. Central servers will operate a data pump that supports sweeping searches that touch most of the data. The anticipated queries require special operators related to angular distances and complex similarity tests of object properties, like shapes, colors, velocity vectors, or temporal behaviors. These issues pose interesting data management challenges.

研究の動機と目的

• 高次元で相関のある属性を有する、巨大で複数テラバイトに及ぶ天文学的データセットの管理とクエリ処理の課題に対処すること。
• 1万平方度の空域に広がる2億個の天体を、1秒未塔の応答時間でインタラクティブに探索可能にする。
• 角度距離と天体特性の類似度を含む複雑なクエリをサポートする分散型でスケーラブルなデータアーキテクチャを設計すること。
• 多次元インデックス、データパーティショニング、サンプリング技術を用いて、大規模クエリのデバッグを効率的に行うためのデータマイニングを支援すること。
• 形状、色、速度ベクトル、時間的挙動といった天文学的データ型を扱うための特殊なデータベース演算子を開発すること。

提案手法

• 空における角度的および空間的関係を効率的に管理するための多次元空間インデックスの採用。
• 並列I/Oとスケーラブルな処理を可能にするために、複数のサーバーにデータをパーティショニング。
• ペアワイズ比較アルゴリズムの効率的実行を支援するため、ハッシュ技術を用いてデータをクラスタリング。
• 一般的なクエリを高速化するため、頻繁にアクセスされる属性を含む小さなタグオブジェクトの作成。
• データベースの大部分に影響を与えるスイーピングクエリをサポートするため、中央サーバーにデータポンプを実装。
• 天体の形状、色、速度、時間的挙動を含む複雑な類似度テストを実現するためのカスタムデータベース演算子の導入。

実験結果

リサーチクエスチョン

• RQ1 2億個の天体が1万平方度の空域に広がる、複数テラバイトに及ぶ天文学的データベースを、1秒未塔の応答時間でインタラクティブかつ高性能にクエリ可能なアーキテクチャとしてどのように設計できるか？
• RQ2 高次元で相関のある天文学的データの並列アクセスと処理を効率的に行うために、どのようなインデックス作成とパーティショニング戦略が有効か？
• RQ3 角度距離と天体特性類似度のための特殊演算子を、天文学向けのリレーショナルデータベースシステムにどのように統合できるか？
• RQ4 完全な実行なしに、大規模天文学クエリのデバッグ時間を短縮するための技術は何か？
• RQ5 分散環境において、ハッシュ化と多次元インデックスを用いて、データを効率的にクラスタリングし、アクセスするにはどのような手法が有効か？

主な発見

• 提示されたアーキテクチャにより、複数サーバーにまたがる分散パーティショニングと並列I/Oによって、SDSSデータベースに対する効率的でスケーラブルなアクセスが可能になった。
• 多次元空間インデックスは、空における角度距離と空間的近接性を含むクエリにおいて、性能を顕著に向上させた。
• 頻繁にアクセスされる属性を含むタグオブジェクトは、一般的な分析操作におけるクエリ遅延を低減した。
• ハッシュベースのクラスタリングにより、並列環境でも良好にスケーリングするペアワイズ比較アルゴリズムの実行が可能になった。
• ランダムにサンプリングされたサブセットは、大規模クエリのデバッグを、フルスケール実行の前段階でデスクトップシステム上で効果的に行うのに有効だった。
• データポンプ機構により、データベースの大部分に影響を与えるスイーピングクエリがサポートされ、包括的なデータマイニングが可能になった。