[논문 리뷰] Distributed Metadata with the AMGA Metadata Catalog

Nuno Santos, B. Koblitz|ArXiv.org|2006. 04. 19.

Distributed and Parallel Computing Systems참고 문헌 7인용 수 33

한 줄 요약

이 논문은 gLite 미들웨어 스택 내의 AMGA 메타데이터 카탈로그를 사용하여 대규모 데이터 그룹에 대한 확장 가능하고 장애 내성 있는 메타데이터 카탈로그 솔루션을 제시한다. 데이터베이스에 종속되지 않는 복제 및 분산 메커니즘을 도입하여 백엔드 데이터베이스 수정 없이 지리적으로 분산된 사이트 간에 효율적인 메타데이터 액세스를 가능하게 하며, EGEE와 같은 분산 환경에서 성능과 내성의 향상을 크게 개선한다.

ABSTRACT

Catalog Services play a vital role on Data Grids by allowing users and applications to discover and locate the data needed. On large Data Grids, with hundreds of geographically distributed sites, centralized Catalog Services do not provide the required scalability, performance or fault-tolerance. In this article, we start by presenting and discussing the general requirements on Grid Catalogs of applications being developed by the EGEE user community. This provides the motivation for the second part of the article, where we present the replication and distribution mechanisms we have designed and implemented into the AMGA Metadata Catalog, which is part of the gLite software stack being developed for the EGEE project. Implementing these mechanisms in the catalog itself has the advantages of not requiring any special support from the relational database back-end, of being database independent, and of allowing tailoring the mechanisms to the specific requirements and characteristics of Metadata Catalogs.

연구 동기 및 목표

• 대규모 데이터 그룹을 위한 중심화된 메타데이터 카탈로그의 확장성 및 장애 내성 문제를 해결하기 위해.
• 수백 개의 분산된 사이트에서 효율적인 메타데이터 탐색이 필요한 EGEE 사용자 커뮤니티의 요구를 충족하기 위해.
• 기본 관계형 데이터베이스에 종속되지 않는 복제 및 분산 메커니즘 설계를 위해.
• 액세스 패턴과 시스템 요구사항에 기반한 메타데이터 분포에 대한 세밀한 제어를 가능하게 하기 위해.
• 분산형 고처리량 컴퓨팅 환경에서 메타데이터 서비스의 성능과 신뢰성을 향상시키기 위해.

제안 방법

• 기본 RDBMS와 분리된 AMGA 카탈로그 내부에 메타데이터 복제 메커니즘을 설계 및 구현하기 위해.
• 메타데이터가 여러 카탈로그 인스턴스 간에 복제되어 가용성과 로드 분산을 향상시키는 분산 아키텍처를 사용하기 위해.
• 액세스 국지성과 워크로드 특성에 기반한 동적 메타데이터 분포를 지원하기 위해.
• 충돌 해결 및 동기화 프로토콜을 통해 레플리카 간 일관성을 확보하기 위해.
• gLite 소프트웨어 스택에 통합하여 EGEE 유사 환경에서 원활한 배포를 가능하게 하기 위해.
• RDBMS 계층에서 스토리지 작업을 추상화하여 데이터베이스 시스템 간 이식성을 확보함으로써 데이터베이스 독립성을 달성하기 위해.

실험 결과

연구 질문

• RQ1 대규모 지리적으로 분산된 데이터 그룹에서 메타데이터 카탈로그는 어떻게 효과적으로 확장될 수 있는가?
• RQ2 특수 데이터베이스 기능에 의존하지 않고도 메타데이터 서비스의 장애 내성과 성능을 향상시키는 메커니즘은 무엇인가?
• RQ3 메타데이터 분포는 어떻게 애플리케이션 액세스 패턴과 시스템 제약 조건에 맞게 맞춤화될 수 있는가?
• RQ4 분산형 메타데이터 카탈로그에서 일관성, 가용성, 파artition 허용성 간의 상충 관계는 무엇인가?
• RQ5 데이터베이스에 종속되지 않는 복제 메커니즘은 메타데이터 카탈로그 내에 효과적으로 구현될 수 있는가? 이는 이식성과 유지보수성을 향상시킬 수 있는가?

주요 결과

• 제안된 복제 및 분산 메커니즘은 대규모 데이터 그룹에서의 확장성과 장애 내성에 크게 기여한다.
• 해당 솔루션은 수정 없이 다양한 RDBMS 플랫폼에 배포 가능하도록 데이터베이스 독립성을 달성한다.
• 지역 기반 복제 덕분에 메타데이터 액세스 성능이 향상되어 원격 사용자의 지연을 감소시킨다.
• 네트워크 파artition 조건에서도 효율적인 동기화를 통해 레플리카 간 일관성을 유지한다.
• 액세스 패턴과 워크로드 수요에 맞추어 메타데이터 배치에 대한 세밀한 제어가 가능해지며, 이는 시스템 최적화에 기여한다.
• gLite 스택 내에 구현된 결과는 EGEE와 같은 프로젝트에서의 실용적 배포 가능성에 대한 증거를 제공한다.