[論文レビュー] The Sloan Digital Sky Survey Science Archive: Migrating a Multi-Terabyte Astronomical Archive from Object to Relational DBMS

Aniruddha R. Thakar, Alexander S. Szalay+2 more|ArXiv.org|Mar 12, 2004

Advanced Database Systems and Queries参考文献 8被引用数 3

ひとこと要約

この論文は、スローンデジタルスカイサーベイ（SDSS）科学アーカイブが、クエリパフォーマンス、拡張性、ベンダーサポートの制限により、オブジェクト指向データベース管理システム（OODBMS）からリレーショナルデータベース管理システム（RDBMS）への移行を詳細に記述している。この移行により、スケーラブルなデータマイニングが可能になり、大容量の天文学的データ（複数テラバイト）に対するパフォーマンスが向上した。最適化された状態では、リレーショナルデータベースが、データ集約的な科学的ワークロードにおいてOODBMSを上回ることを実証した。

ABSTRACT

The Sloan Digital Sky Survey Science Archive is the first in a series of multi-Terabyte digital archives in Astronomy and other data-intensive sciences. To facilitate data mining in the SDSS archive, we adapted a commercial database engine and built specialized tools on top of it. Originally we chose an object-oriented database management system due to its data organization capabilities, platform independence, query performance and conceptual fit to the data. However, after using the object database for the first couple of years of the project, it soon began to fall short in terms of its query support and data mining performance. This was as much due to the inability of the database vendor to respond our demands for features and bug fixes as it was due to their failure to keep up with the rapid improvements in hardware performance, particularly faster RAID disk systems. In the end, we were forced to abandon the object database and migrate our data to a relational database. We describe below the technical issues that we faced with the object database and how and why we migrated to relational technology.

研究の動機と目的

• 初期のオブジェクト指向データベースシステムに起因するパフォーマンスのボトル neck を解消すること。
• 大規模な天文学的データ分析におけるデータマイニング能力とクエリ効率を向上させること。
• ベンダーの欠陥と進化するハードウェア要件に起因して、OODBMSからリレーショナルDBMSへの移行を評価し、実施すること。
• 複数テラバイトのデータセットに対する高スルーレートで複雑なクエリを処理できるよう、特別なツールを設計し、リレーショナルデータベースを最適化すること。
• 成長著しい天文学的データアーカイブの長期的な保守性、拡張性、プラットフォーム非依存性を確保すること。

提案手法

• 複数テラバイトの天文学的データワークロードに適しているかどうかを検証した後、商用リレーショナルDBMSを採用した。
• 元のOODBMSからリレーショナルスキーマへのデータ移行を実施し、データ整合性と関係性を保持した。
• 複雑なクエリ処理とデータマイニング操作を支援するため、RDBMS上に特別なツールを設計・構築した。
• RAIDディスク技術の進歩とハードウェア性能の向上を活用して、クエリ実行速度を向上させた。
• SQLクエリプランとインデックス戦略を最適化し、天文学的データの検索応答時間を改善した。
• 標準SQLとリレーショナルデータベース規格に依存することで、プラットフォーム非依存性と移植性を確保した。

実験結果

リサーチクエスチョン

• RQ1 なぜ初期のオブジェクト指向データベースが、SDSS科学アーカイブのパフォーマンスとスケーラビリティ要件を満たせなかったのか？
• RQ2 OODBMSからRDBMSへの移行を決定するにあたり、技術的および組織的要因は何か？
• RQ3 特にRAIDストレージの進歩が、リレーショナルデータベースの選定にどのように影響したのか？
• RQ4 天文学のようなデータ集約的科学的アプリケーションにおいて、リレーショナルデータベースがOODBMSをどの程度上回ったのか？
• RQ5 新しいリレーショナルシステムを成功裏に移行・最適化するために、どのようなアーキテクチャ的・ツール的変更が必要だったのか？

主な発見

• OODBMSは、クエリ最適化が不十分で、複雑な分析クエリに対する対応が悪いため、スケーリングに失敗した。
• ベンダーによる重要な機能実装やバグ修正の遅延が、システムの進化とパフォーマンスチューニングを著しく妨げた。
• RAIDディスクシステムの急速な進歩が、OODBMSの高I/Oスルーレート活用能力を上回り、その競争優位性を低下させた。
• リレーショナルデータベースは、複数テラバイトのSDSSデータワークロードにおいて、優れたクエリパフォーマンス、拡張性、保守性を提供した。
• RDBMS上に構築された特別なツールにより、大規模な天文学的データセットにおける効率的なデータマイニングと複雑なクエリ処理が可能になった。
• 移行により、天文学的研究のためのよりスケーラブルで信頼性が高く、将来にわたっても耐久性のあるデータ管理システムが実現した。