[논문 리뷰] A Distributed Metadata Management, Data Discovery and Access System

Giri Prakash, Ranjeet Devarakonda외 2명|arXiv (Cornell University)|2010. 10. 12.

Advanced Computational Techniques and Applications인용 수 1

한 줄 요약

메르쿠리(Mercury)는 전 세계에 산재한 데이터 소스들로부터 메타데이터를 집계하여 중심화된 인덱스로 통합함으로써, 분야별, 공간적, 시간적 쿼리를 통해 다양한 저장소 간에 빠르고 통합된 검색을 가능하게 하는 분산 메타데이터 관리 시스템이다. 이는 여러 메타데이터 포맷을 지원하고, 지도 기반 검색을 위해 Google Maps와 통합하며 RSS를 통해 결과를 제공함으로써 데이터 소유권을 원천에서 유지하면서 데이터 탐색을 향상시킨다.

ABSTRACT

Mercury is a federated metadata harvesting, search and retrieval tool based on both open source and software developed at Oak Ridge National Laboratory. It was originally developed for NASA, and the Mercury development consortium now includes funding from NASA, USGS, and DOE. A major new version of Mercury was developed during 2007. This new version provides orders of magnitude improvements in search speed, support for additional metadata formats, integration with Google Maps for spatial queries, support for RSS delivery of search results, among other features. Mercury provides a single portal to information contained in disparate data management systems. It collects metadata and key data from contributing project servers distributed around the world and builds a centralized index. The Mercury search interfaces then allow the users to perform simple, fielded, spatial and temporal searches across these metadata sources. This centralized repository of metadata with distributed data sources provides extremely fast search results to the user, while allowing data providers to advertise the availability of their data and maintain complete control and ownership of that data.

연구 동기 및 목표

• 산재해 있는 다양한 분산 데이터 관리 시스템에 흩어진 데이터를 탐색하는 데 도전 과제를 해결하기 위해.
• 이질적인 메타데이터 포맷 간에 효율적이고 확장 가능한 검색을 가능하게 하는 중심화된 메타데이터 인덱스를 제공하기 위해.
• 데이터 소유권을 훼손하지 않으면서도 공간적 및 시간적 쿼리와 같은 고급 검색 기능을 지원하기 위해.
• 데이터 제공자가 자신의 데이터를 완전히 제어하면서도 통합 포털을 통해 가용성을 광고할 수 있도록 하기 위해.
• Google Maps 및 RSS 배달과 같은 도구와의 통합을 통해 검색 성능과 사용성을 향상시키기 위해.

제안 방법

• 메르쿠리(Mercury)는 오ak Ridge 국립연구소에서 개발한 오픈 표준 및 소프트웨어를 사용하여 전 세계의 분산된 프로젝트 서버들로부터 메타데이터를 수확한다.
• 모든 소스를 빠르게 검색할 수 있도록 중심화된 메타데이터 및 핵심 데이터의 인덱스를 구축한다.
• 다양한 메타데이터 포맷을 지원함으로써 과학적 데이터 저장소 간 광범위한 상호운용성을 보장한다.
• 지리적 위치 기반 검색을 가능하게 하기 위해 Google Maps와의 통합을 통해 공간 쿼리를 지원한다.
• 검색 결과는 RSS 피드를 통해 제공되어 실시간 업데이트 및 심층 제공이 가능하다.
• 아키텍처는 데이터 소유권을 원천에서 유지하며, 메타데이터는 오직 탐색 목적의 중심화된 인덱스화만 이루어진다.

실험 결과

연구 질문

• RQ1 어떻게 분산된 이질적인 데이터 소스들로부터의 메타데이터를 효율적으로 집계하고 인덱싱하여 통합된 탐색을 가능하게 할 수 있는가?
• RQ2 대규모로 분포된 지리적 위치에 따라 산재한 메타데이터 저장소 간에 밀리초 이내의 검색 성능을 달성하기 위한 기법은 무엇인가?
• RQ3 피어드 메타데이터 시스템에서 공간적 및 시간적 쿼리를 효과적으로 지원하기 위한 방법은 무엇인가?
• RQ4 데이터 제공자가 데이터의 완전한 제어 및 소유권을 유지하면서도 탐색이 가능하도록 보장하기 위한 메커니즘은 무엇인가?
• RQ5 Google Maps 및 RSS와 같은 외부 도구와의 통합이 사용성 및 데이터 접근성을 어떻게 향상시킬 수 있는가?

주요 결과

• 메르쿠리(Mercury)는 이전 버전 대비 검색 속도를 수 개의 주기수 개선하여 거의 실시간 쿼리 응답을 가능하게 한다.
• 시스템은 넓은 범위의 메타데이터 포맷을 지원하여 다양한 과학적 데이터 저장소 간의 상호운용성을 향상시킨다.
• Google Maps와의 통합을 통해 효과적인 공간 쿼리가 가능해져 사용자가 지리적 지역 기반으로 데이터를 검색할 수 있다.
• RSS를 통한 검색 결과 배달은 사용자 및 애플리케이션의 자동화된 실시간 데이터 탐색 및 모니터링을 가능하게 한다.
• 아키텍처는 데이터 저장소와 메타데이터 인덱싱을 성공적으로 분리함으로써 데이터 소유권을 유지하면서도 중심화된 탐색을 가능하게 한다.
• 시스템은 전 세계에 산재한 소스들로부터의 메타데이터에 접근할 수 있는 단일 포털을 제공하여 데이터 접근성과 사용성의 급격한 향상을 이룬다.