[논문 리뷰] Relational Grid Monitoring Architecture (R-GMA)

Rob Byrom, Brian Coghlan외 17명|ArXiv.org|2003. 08. 15.

Distributed and Parallel Computing Systems참고 문헌 3인용 수 46

한 줄 요약

R-GMA는 분산된 그리드 정보 소스를 통해 강력하고 유연한 쿼리 기능을 제공하기 위해 SQL 기반 데이터 모델링을 활용하는 관계형 그리드 모니터링 아키텍처를 제안한다. 그리드 자원을 관계형 테이블로 모델링하고, 메디에이터를 통해 쿼리를 최적의 프로듀서로 동적으로 라우팅함으로써, 이력, 최신, 지속적 쿼리를 지원한다. 비차단 I/O를 통해 확장 가능한 성능을 달성하고, 향후 확장성을 고려해 OGSA 웹 서비스 프레임워크와의 통합도 가능하게 한다.

ABSTRACT

We describe R-GMA (Relational Grid Monitoring Architecture) which has been developed within the European DataGrid Project as a Grid Information and Monitoring System. Is is based on the GMA from GGF, which is a simple Consumer-Producer model. The special strength of this implementation comes from the power of the relational model. We offer a global view of the information as if each Virtual Organisation had one large relational database. We provide a number of different Producer types with different characteristics; for example some support streaming of information. We also provide combined Consumer/Producers, which are able to combine information and republish it. At the heart of the system is the mediator, which for any query is able to find and connect to the best Producers for the job. We have developed components to allow a measure of inter-working between MDS and R-GMA. We have used it both for information about the grid (primarily to find out about what services are available at any one time) and for application monitoring. R-GMA has been deployed in various testbeds; we describe some preliminary results and experiences of this deployment.

연구 동기 및 목표

• 분산되고 동적인 그리드 자원을 대상으로 하는 복잡한 쿼리 기능을 지원하는 확장 가능하고 스케일러블한 그리드 정보 및 모니터링 시스템을 설계하기 위해.
• GGF의 GMA의 한계를 극복하기 위해 관계형 모델의 표현력을 활용하여 통합된 데이터 액세스를 가능하게 하기 위해.
• 이력, 최신, 지속적 쿼리와 같은 다양한 쿼리 유형을 지원하기 위해 성능 및 신뢰성 특성이 다른 전용 프로듀서 유형을 제공하기 위해.
• MDS와 같은 기존 모니터링 시스템 및 향후 OGSA 기반 웹 서비스와의 상호운용성을 보장하기 위해.
• 저항성 있는 데이터 영속성과 분산 쿼리 라우팅을 통해 고가용성과 장애 내성 확보하기 위해.

제안 방법

• R-GMA는 소비자-프로듀서 모델을 구현하며, 프로듀서는 SQL CREATE TABLE 문을 통해 등록하고 SQL INSERT를 사용해 데이터를 게시한다.
• 시스템은 쿼리 유형과 데이터 특성에 따라 가장 적합한 프로듀서를 동적으로 탐지하고 라우팅하는 중앙 집중식 메디에이터를 사용한다.
• 다섯 가지의 별도 프로듀서 유형을 구현했다: DataBaseProducer(지속적 RDBMS 저장소), StreamProducer(메모리 기반 스트리밍), ResilientStreamProducer(디스크 기반 스트리밍), LatestProducer(최신값 캐싱), CanonicalProducer(코드 트리거 기반 쿼리 실행).
• 쿼리 유형은 이력(시간 범위 스캔), 최신(현재 값 검색), 지속적(스트림 필터링)이며, SQL을 통해 복잡한 조건자를 지원한다.
• 시스템은 서블릿 기반으로 구축되어 있으며, 표준화된 상태 기반 그리드 서비스의 수명 주기 및 신원 관리 기능 향상을 위해 OGSA 프레임워크 내에서 웹 서비스로 이관 중이다.
• 성능 최적화로는 비차단 I/O를 위한 java.nio로의 이행이 포함되어 있으며, I/O 병목 현상을 줄이고 일반적인 아키텍처에서 최대 150개의 사이트 지원이 가능해졌다.

실험 결과

연구 질문

• RQ1 어떻게 관계형 데이터 모델을 분산된 그리드 모니터링에 효과적으로 적용하여 표현력 있고 표준화된 쿼리 기능을 달성할 수 있는가?
• RQ2 동적이고 고속도의 데이터 워크로드 하에서 관계형 그리드 모니터링 시스템의 성능 특성과 확장성 한계는 무엇인가?
• RQ3 스트리밍 그리드 모니터링 시스템에서 성능을 희생시키지 않고도 장애 내성과 데이터 내구성을 달성하는 방법은 무엇인가?
• RQ4 R-GMA와 기존 그리드 모니터링 표준(MDS) 및 향후 OGSA 웹 서비스 간의 원활한 통합을 가능하게 하는 아키텍처 패턴은 무엇인가?
• RQ5 다양한 쿼리 유형을 이질적인 그리드 환경의 가장 적합한 데이터 소스로 효율적으로 라우팅할 수 있는 메디에이터 기반 아키텍처의 핵심은 무엇인가?

주요 결과

• R-GMA는 가상 조직을 관통하는 그리드 정보에 대한 통합된 관계형 뷰를 성공적으로 구현하여, 분산된 데이터 소스를 하나의 논리적 RDBMS로 추상화했다.
• 이력, 최신, 지속적 쿼리 유형을 지원하는 전용 프로듀서 컴ponent를 통해 성능 및 신뢰성 요구사항에 맞게 최적화된 시스템을 제공했다.
• 성능 테스트 결과, java.nio를 통한 비차단 I/O로 이행함으로써 R-GMA는 일반적인 아키텍처에서 최대 150개의 그리드 사이트(각각 SE와 3개의 CE 포함)를 단일 토폴로지에서 지원할 수 있었다.
• 병목 현상은 주로 I/O에 기인했으며, java.nio로의 이행이 처리량과 확장성 향상에 크게 기여했다.
• 메디에이터는 지능적인 쿼리 라우팅을 가능하게 하여, 여러 개의 LatestProducer 아카이브를 통해 분산 실행함으로써 개별 노드의 부하를 감소시켰다.
• R-GMA는 사설 및 주요 EDG 개발 테스트베드를 포함한 여러 테스트베드에 배포되어, 동적이고 변화무도한 환경에서도 안정성과 적응 가능성의 우수함을 입증했다.