[論文レビュー] A Distributed Metadata Management, Data Discovery and Access System

Giri Prakash, Ranjeet Devarakonda+2 more|arXiv (Cornell University)|Oct 12, 2010

Advanced Computational Techniques and Applications被引用数 1

ひとこと要約

Mercuryは、世界中に分散したデータソースからメタデータを収集し、中央集権的なインデックスに統合する分散型メタデータ管理システムであり、フィールド指定、空間的、時間的クエリを介して、多様なリポジトリを横断した高速かつ統合的な検索を可能にする。メタデータ形式を複数サポートし、Googleマップと統合して地理空間クエリを実現し、RSSを介して結果を提供することで、データ所有権をソースに維持しつつ、データ発見性を向上させる。

ABSTRACT

Mercury is a federated metadata harvesting, search and retrieval tool based on both open source and software developed at Oak Ridge National Laboratory. It was originally developed for NASA, and the Mercury development consortium now includes funding from NASA, USGS, and DOE. A major new version of Mercury was developed during 2007. This new version provides orders of magnitude improvements in search speed, support for additional metadata formats, integration with Google Maps for spatial queries, support for RSS delivery of search results, among other features. Mercury provides a single portal to information contained in disparate data management systems. It collects metadata and key data from contributing project servers distributed around the world and builds a centralized index. The Mercury search interfaces then allow the users to perform simple, fielded, spatial and temporal searches across these metadata sources. This centralized repository of metadata with distributed data sources provides extremely fast search results to the user, while allowing data providers to advertise the availability of their data and maintain complete control and ownership of that data.

研究の動機と目的

• 散在する、異なる分散型データ管理システムに散らばったデータを発見する課題に対処すること。
• 異種のメタデータ形式を効率的かつスケーラブルに検索できる中央集権的メタデータインデックスを提供すること。
• データ所有権を損なわずに、空間的および時間的クエリを含む高度な検索機能をサポートすること。
• データ提供者が自身のデータを完全に制御しつつ、統合型ポータルを通じて利用可能性を広報できること。
• GoogleマップやRSS配信といったツールとの統合を通じて、検索のパフォーマンスと使いやすさを向上させること。

提案手法

• Mercuryは、オークリッジ国立研究所で開発されたオープンスタンダードおよびソフトウェアを用いて、世界中の分散型プロジェクトサーバーからメタデータを収集する。
• メタデータと主要データの中央集権的インデックスを構築し、すべてのソースを横断した高速検索を可能にする。
• システムは複数のメタデータ形式をサポートしており、科学的データリポジトリ間での広範な相互運用性を確保する。
• 空間クエリはGoogleマップとの統合により可能となり、ユーザーが地理的位置で検索できる。
• 検索結果はRSSフィードを通じて配信され、リアルタイムの更新とシンジケーションが可能になる。
• アーキテクチャはデータ所有権をソースに維持しており、発見のための中央集権的インデックス化のためだけにメタデータが収集・インデックス化される。

実験結果

リサーチクエスチョン

• RQ1 分散型で異種のメタデータソースから効率的に集約・インデックス化されたメタデータを統合的発見にどう活用できるか。
• RQ2 大規模かつ地理的に分散したメタデータリポジトリにおいて、1秒未塔の検索パフォーマンスを実現するための技術的手段は何か。
• RQ3 フェデレーテッドメタデータシステムにおいて、空間的および時間的クエリを効果的にサポートするにはどうすればよいか。
• RQ4 データ提供者が完全な制御権および所有権を保持しつつ、発見が可能になる仕組みは何か。
• RQ5 GoogleマップやRSSといった外部ツールとの統合が、使いやすさとデータアクセスをどのように向上させるか。

主な発見

• Mercuryは、以前のバージョンと比較して、検索速度が桁違いに向上し、ほぼリアルタイムのクエリ応答が可能になった。
• システムは幅広いメタデータ形式をサポートしており、多様な科学的データリポジトリ間での相互運用性が向上した。
• Googleマップとの統合により、地理的領域でデータを検索できる有効な空間クエリが可能になった。
• RSSによる検索結果配信により、ユーザーおよびアプリケーションが自動的かつリアルタイムにデータ発見と監視が可能になった。
• アーキテクチャはデータストレージとメタデータインデックスの分離に成功しており、データ所有権を維持しつつも中央集権的発見を可能にした。
• システムは世界中に分散したソースからのメタデータにアクセスするための単一のポータルを提供しており、データのアクセス可能性と使いやすさが顕著に向上した。