[論文レビュー] SkyQuery: A WebService Approach to Federate Databases

Tanu Malik, Alexander S. Szalay+2 more|ArXiv.org|Nov 20, 2002

Advanced Database Systems and Queries参考文献 21被引用数 59

ひとこと要約

SkyQuery は、仮想望遠鏡において異種の天文学データベースを統合するための WebService ベースのアーキテクチャを提案し、確率的フェデレーテッド空間ジョインクエリを効率的に評価することを可能にする。標準化された Web サービスを活用することで、自律的で独立したアーカイブ間でのシームレスな相互運用性を実現し、分散データソース across でスケーラブルかつリアルタイムのクエリ処理を実現している。

ABSTRACT

Traditional science searched for new objects and phenomena that led to discoveries. Tomorrow's science will combine together the large pool of information in scientific archives and make discoveries. Scienthists are currently keen to federate together the existing scientific databases. The major challenge in building a federation of these autonomous and heterogeneous databases is system integration. Ineffective integration will result in defunct federations and under utilized scientific data. Astronomy, in particular, has many autonomous archives spread over the Internet. It is now seeking to federate these, with minimal effort, into a Virtual Observatory that will solve complex distributed computing tasks such as answering federated spatial join queries. In this paper, we present SkyQuery, a successful prototype of an evolving federation of astronomy archives. It interoperates using the emerging Web services standard. We describe the SkyQuery architecture and show how it efficiently evaluates a probabilistic federated spatial join query.

研究の動機と目的

• 自律的で異種の天文学データベースを統一されたシステムに統合する課題に対処すること。
• 分散された科学的アーカイブ across で複雑なフェデレーテッド空間ジョインクエリを効率的に実行すること。
• 相互運用性のための標準化された Web サービスを用いることで統合のオーバーヘッドを低減すること。
• リアルタイムのデータ発見と分析を可能にすることで、進化する仮想望遠鏡のビジョンを支援すること。
• 科学的データフェデレーションのためのスケーラブルで生産環境対応のプロトタイプを実証すること。

提案手法

• クライアントクエリと分散天文学データベースの間を仲介する WebService ベースのミドルウェア層を設計すること。
• プラットフォームおよびスキーマの相互運用性を保証するため、標準化された Web サービスプロトコル（例：SOAP, WSDL）を使用すること。
• 複数のデータソース across で確率的空間ジョインを処理できるクエリ最適化子を実装すること。
• 各アーカイブのメタデータ記述を用いてクライアントクエリを個々のデータソースエンドポイントにマッピングすること。
• さまざまなソースでの応答時間の差を考慮し、非同期および同期の両方のクエリ実行をサポートすること。
• 複数の自律的データベースからの結果を調整するフェデレーテッドクエリ実行エンジンを採用すること。

実験結果

リサーチクエスチョン

• RQ1 軽量で標準化された Web サービスを用いて、異種的かつ自律的な天文学データベースを効果的にフェデレートできるか？
• RQ2 分散アーカイブ across で確率的フェデレーテッド空間ジョインクエリを効率的に実行できるアーキテクチャパターンは何か？
• RQ3 Web サービスは、天文学におけるリアルタイムの科学的データ発見に十分なパフォーマンスとスケーラビリティを提供できるか？
• RQ4 メタデータおよびスキーマの異種性をどのように抽象化し、シームレスなクエリルーティングを実現できるか？
• RQ5 既存の Web サービス標準を用いて生産環境向けの仮想望遠鏡を構築することは可能か？

主な発見

• SkyQuery は、Web サービスを用いて複数の自律的天文学データベース間で相互運用性を成功裏に実証した。
• システムは、分散ソース across で低遅延で確率的フェデレーテッド空間ジョインクエリを効率的に評価した。
• 標準化された Web サービスプロトコルの使用により、統合の複雑さが低減し、プラグアンドプレイの拡張性が実現された。
• アーキテクチャはリアルタイムのクエリ実行をサポートし、仮想望遠鏡環境でのインタラクティブなデータ探索を可能にした。
• プロトタイプはスケーラブルで再利用可能であり、将来的な大規模な科学的データフェデレーションの基盤を形成した。
• 新規データソースをフェデレーテッドシステムに統合するための作業量を顕著に削減した。