[논문 리뷰] SkyQuery: A WebService Approach to Federate Databases

Tanu Malik, Alexander S. Szalay외 2명|ArXiv.org|2002. 11. 20.

Advanced Database Systems and Queries참고 문헌 21인용 수 59

한 줄 요약

SkyQuery는 가상 천문관(Virtual Observatory)으로 이종 천문학 데이터베이스를 융합하기 위한 웹서비스 기반 아키텍처를 제안하며, 확률적 융합 공간 조인 쿼리의 효율적 평가를 가능하게 한다. 표준화된 웹 서비스를 활용하여 자율적인 아카이브 간 원활한 상호운용성을 달성하며, 분산된 데이터 소스를 통해 확장 가능하고 실시간으로 쿼리 처리하는 데 성공한다.

ABSTRACT

Traditional science searched for new objects and phenomena that led to discoveries. Tomorrow's science will combine together the large pool of information in scientific archives and make discoveries. Scienthists are currently keen to federate together the existing scientific databases. The major challenge in building a federation of these autonomous and heterogeneous databases is system integration. Ineffective integration will result in defunct federations and under utilized scientific data. Astronomy, in particular, has many autonomous archives spread over the Internet. It is now seeking to federate these, with minimal effort, into a Virtual Observatory that will solve complex distributed computing tasks such as answering federated spatial join queries. In this paper, we present SkyQuery, a successful prototype of an evolving federation of astronomy archives. It interoperates using the emerging Web services standard. We describe the SkyQuery architecture and show how it efficiently evaluates a probabilistic federated spatial join query.

연구 동기 및 목표

• 자율적이고 이종적인 천문학 데이터베이스를 통합된 시스템으로 융합하는 데 도전하는 것.
• 분산된 과학 아카이브를 통해 복잡한 융합 공간 조인 쿼리의 효율적 실행을 가능하게 하는 것.
• 상호운용성을 위해 표준화된 웹 서비스를 사용함으로써 통합 오버헤드를 줄이는 것.
• 실시간 데이터 탐색 및 분석을 가능하게 하여 가상 천문관 비전을 실현하는 것.
• 과학 데이터 융합을 위한 확장 가능하고 생산용으로 사용 가능한 프로토타입을 구현하는 것.

제안 방법

• 클라이언트 쿼리와 분산된 천문학 데이터베이스 간을 중개하기 위한 웹서비스 기반 미들웨어 계층 설계.
• 플랫폼 및 스키마 상호운용성을 보장하기 위해 표준화된 웹 서비스 프로토콜(예: SOAP, WSDL) 사용.
• 다양한 데이터 소스 간의 확률적 공간 조인을 처리할 수 있는 쿼리 최적화기 구현.
• 각 아카이브의 메타데이터 기술서를 사용하여 클라이언트 쿼리를 개별 데이터 소스 엔드포인트로 매핑.
• 다양한 응답 시간을 가진 소스를 수용하기 위해 비동기 및 동기 쿼리 실행 지원.
• 다양한 자율적 데이터베이스로부터 결과를 조율하는 융합 쿼리 실행 엔진 구현.

실험 결과

연구 질문

• RQ1 가벼운 표준 웹 서비스를 사용하여 이종적이고 자율적인 천문학 데이터베이스를 효과적으로 융합할 수 있는가?
• RQ2 분산 아카이브를 통해 확률적 융합 공간 조인 쿼리의 효율적 실행을 가능하게 하는 아키텍처 패턴은 무엇인가?
• RQ3 웹 서비스가 천문학 분야의 실시간 과학 데이터 탐색에 충분한 성능과 확장성을 제공할 수 있는가?
• RQ4 메타데이터 및 스키마 이질성을 어떻게 추상화하여 원활한 쿼리 라우팅을 가능하게 할 수 있는가?
• RQ5 기존 웹 서비스 표준을 사용하여 생산용 수준의 가상 천문관을 구축하는 데 실현 가능할까?

주요 결과

• SkyQuery는 웹 서비스를 통해 다수의 자율적 천문학 데이터베이스 간의 상호운용성을 성공적으로 입증하였다.
• 시스템은 분산된 소스를 통해 낮은 지연 시간으로 확률적 융합 공간 조인 쿼리를 효율적으로 평가하였다.
• 표준화된 웹 서비스 프로토콜의 사용으로 통합 복잡도가 감소하였으며, 즉시 통합 및 확장이 가능한 플러그 앤 플레이 성격의 확장성 확보.
• 아키텍처는 실시간 쿼리 실행을 지원하여 가상 천문관 환경에서 상호작용 가능한 데이터 탐색을 가능하게 하였다.
• 프로토타입은 확장 가능하고 재사용 가능했으며, 향후 과학 분야의 대규모 데이터 융합을 위한 기반을 마련하였다.
• 새로운 데이터 소스를 융합 시스템에 통합하는 데 요구되는 노력이 크게 감소하였다.