[논문 리뷰] R-GMA: First results after deployment

Rob Byrom, Brian Coghlan외 19명|ArXiv.org|2003. 05. 30.

Distributed and Parallel Computing Systems참고 문헌 1인용 수 10

한 줄 요약

R-GMA는 가상 조직을 가로지르는 분산 그리드 정보의 통합적이고 질의 가능한 시각을 제공하기 위해 SQL 기반 데이터 모델링을 활용하는 관계형 그리드 모니터링 아키텍처입니다. 이 시스템은 이력, 최신, 지속적 등 다양한 유형의 질의를 지원하며, 다섯 가지의 고유한 프로듀서 유형을 제공합니다. 중재자는 질의를 최적의 프로듀서에 라우팅합니다. 배포 결과, 30초 간격으로 40~50개의 사이트가 데이터를 게재하는 것을 지원하며, 최적화를 위한 성능 병목 현상이 확인되었습니다.

ABSTRACT

We describe R-GMA (Relational Grid Monitoring Architecture) which is being developed within the European DataGrid Project as an Grid Information and Monitoring System. Is is based on the GMA from GGF, which is a simple Consumer-Producer model. The special strength of this implementation comes from the power of the relational model. We offer a global view of the information as if each VO had one large relational database. We provide a number of different Producer types with different characteristics; for example some support streaming of information. We also provide combined Consumer/Producers, which are able to combine information and republish it. At the heart of the system is the mediator, which for any query is able to find and connect to the best Producers to do the job. We are able to invoke MDS info-provider scripts and publish the resulting information via R-GMA in addition to having some of our own sensors. APIs are available which allow the user to deploy monitoring and information services for any application that may be needed in the future. We have used it both for information about the grid (primarily to find what services are available at any one time) and for application monitoring. R-GMA has been deployed in Grid testbeds, we describe the results and experiences of this deployment.

연구 동기 및 목표

• GGF GMA 모델을 기반으로 확장성 있고 상호운용 가능한 그리드 정보 및 모니터링 시스템을 설계하기 위해.
• 다양한 분산 그리드 데이터 소스에 걸쳐 통합적이고 복잡한 질의를 가능하게 하기 위해 관계형 모델의 표현력을 활용하기 위해.
• 특수화된 프로듀서 유형(예: 스트리밍, 내성적, 최신값)을 통해 다양한 모니터링 워크로드를 지원하기 위해.
• 중재자가 각 질의에 가장 적합한 프로듀서를 선택함으로써 효율적이고 동적일 수 있는 데이터 발견 및 라우팅을 가능하게 하기 위해.
• 실제 그리드 테스트베드에서 시스템을 구축하고 평가하여 성능 및 내성적 특성을 점검하기 위해.

제안 방법

• R-GMA는 관계형 데이터베이스를 사용하여 GMA 소비자-프로듀서 모델을 구현하며, 프로듀서는 SQL CREATE TABLE을 통해 등록하고 SQL INSERT를 사용하여 게재합니다.
• 다섯 가지 프로듀서 유형을 지원합니다: DataBaseProducer(지속적 RDBMS 저장소), StreamProducer(메모리 기반 스트리밍), ResilientStreamProducer(디스크 기반 스트리밍), LatestProducer(최신값 저장소), CanonicalProducer(코드 트리거 기반 질의).
• 소비자는 SQL SELECT 질의를 발행하며, 중재자는 질의 유형과 데이터 가용성에 따라 가장 적합한 프로듀서에 질의를 라우팅합니다.
• 시스템은 프로듀서와 소비자를 등록하기 위한 레지스트리(디렉터리 서비스)를 사용하며, 장애 내성성을 위해 소프트 스테이트 등록을 적용합니다.
• 자바 서블릿 기반으로 구축되었으며, SWIG를 통해 자바, C++, C, 파이썬, 페럴 등 다양한 API를 지원합니다. 향후 OGSA 웹 서비스로의 이관 계획이 있습니다.
• 중재자는 질의에 대해 동적으로 최적의 프로듀서를 발견하고 연결함으로써 분산형으로 확장 가능한 데이터 검색을 가능하게 합니다.

실험 결과

연구 질문

• RQ1 관계형 모델은 분산되고 자율적인 소스에서 비균일한 그리드 모니터링 데이터를 효과적으로 통합하고 질의할 수 있는가?
• RQ2 다수의 사이트에서 동시 게재가 이루어지는 상황에서 관계형 그리드 모니터링 시스템의 성능은 어떻게 확장되는가?
• RQ3 SQL 기반 프로듀서를 사용하는 고처리량·저지연 시간 그리드 모니터링 시스템에서 성능 병목 현상은 무엇인가?
• RQ4 중재자 기반 라우팅 시스템은 이력, 최신, 지속적 질의 유형에 따라 최적의 프로듀서를 효율적으로 선택할 수 있는가?
• RQ5 소프트 스테이트 등록은 일시적인 장애 발생 시에도 시스템의 내성적 특성을 유지하는 데 얼마나 효과적인가?

주요 결과

• R-GMA는 30초 간격으로 40~50개의 그리드 사이트가 모니터링 데이터를 게재하는 것을 실제 테스트베드에서 성공적으로 지원하여 확장성을 입증했습니다.
• 프로듀서에서 튜플을 버퍼링하는 것은 시스템 처리량에 거의 영향을 주지 않아, 성능 병목 현상은 톰캣이나 JVM 설정과 같은 다른 요소에 기인해 있음을 시사합니다.
• 다양한 프로듀서 유형의 조합(예: 아카이버가 LatestProducer에 데이터를 공급)을 통해 안정적인 운영이 가능했으며, 데이터 일관성과 흐름의 무결성이 확인되었습니다.
• 톰캣 설정, JVM 파라미터 조정 및 물리적 메모리 증설을 통해 성능 튜닝을 통해 처리량 향상을 기대할 수 있습니다.
• 향후 다수의 LatestProducer 아카이브를 통해 분산 질의 실행을 수행하는 아키텍처 전환은 확장성 향상과 개별 노드의 부하 감소에 크게 기여할 수 있습니다.
• 소프트 스테이트 등록에 의존한 시스템은 프로듀서와 소비자의 최신 상태를 유지하는 데 효과적이었으며, 내성적 특성을 확보하는 데 기여했습니다.