[논문 리뷰] A monitoring tool for a GRID operation center

Sergio Andreozzi, S. Fantinel외 3명|ArXiv.org|2003. 06. 03.

Distributed and Parallel Computing Systems인용 수 4

한 줄 요약

이 논문은 세계적 규모의 그리드 테스트베드인 WorldGRID에서 가상조직 중심의 모니터링을 가능하게 하기 위해 개발된 Nagios 기반의 모니터링 도구인 EDT-Monitor를 제시한다. 동적 지도 기반의 지리적 시각화를 통해 실시간으로 자원 브로커 장애, 잘못 설정된 사이트, 작업 디스패칭 실패와 같은 문제를 탐지함으로써 그리드 운영 센터의 기능을 향상시키며, 대규모 히피컬 실험 작업 환경에서 시스템의 신뢰성과 운영 반응성을 향상시킨다.

ABSTRACT

WorldGRID is an intercontinental testbed spanning Europe and the US integrating architecturally different Grid implementations based on the Globus toolkit. The WorldGRID testbed has been successfully demonstrated during the WorldGRID demos at SuperComputing 2002 (Baltimore) and IST2002 (Copenhagen) where real HEP application jobs were transparently submitted from US and Europe using "native" mechanisms and run where resources were available, independently of their location. To monitor the behavior and performance of such testbed and spot problems as soon as they arise, DataTAG has developed the EDT-Monitor tool based on the Nagios package that allows for Virtual Organization centric views of the Grid through dynamic geographical maps. The tool has been used to spot several problems during the WorldGRID operations, such as malfunctioning Resource Brokers or Information Servers, sites not correctly configured, job dispatching problems, etc. In this paper we give an overview of the package, its features and scalability solutions and we report on the experience acquired and the benefit that a GRID operation center would gain from such a tool.

연구 동기 및 목표

• 복잡하고 지리적으로 분산된 그리드 인fra를 효과적으로 모니터링하는 데 도전하는 문제를 해결하기 위해.
• 다양한 대륙에 걸쳐 분포된 그리드 자원의 상태와 성능에 대한 실시간 가시성을 제공하기 위해.
• 대규모 그리드 배포 환경에서 운영 감시를 단순화하기 위해 가상조직 중심의 모니터링을 지원하기 위해.
• 운영 환경에서 실패한 브로커나 잘못 설정된 사이트와 같은 인프라 문제를 사전에 탐지하고 보고하기 위해.
• 자동화되고 중심화된 모니터링을 통해 그리드 운영 센터의 확장성과 유지보수 용이성을 향상시키기 위해.

제안 방법

• Nagios 오픈소스 모니터링 프레임워크를 기반으로 하여 서비스 및 호스트 모니터링에 검증된 인프라를 활용한다.
• 자원 브로커 및 정보 서버를 포함한 Globus Toolkit 기반 그리드 구성 요소와 통합하여 실시간 상태 데이터를 수집한다.
• 유럽과 미국의 그리드 사이트 운영 상태를 시각화하는 동적 지도를 생성하여 장애의 공간적 상관관계를 분석할 수 있도록 한다.
• 가상조직(Virtual Organization, VO) 중심의 뷰를 지원하여 관리자가 VO 소속 및 작업 제출 패턴에 따라 자원을 모니터링할 수 있도록 한다.
• 이벤트 기반 경고 및 상태 집계를 통해 수백 개의 분산된 그리드 사이트 및 서비스를 대상으로 확장 가능한 모니터링을 수행한다.
• 실제 작업 실행 행동(예: 작업 디스패칭 지연 또는 자원 이용 불가)과 모니터링 데이터를 연계하여 분석할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 지리적으로 분포된 다원적 구성 요소를 가진 복잡한 그리드 인fra에서 실시간으로 대규모 그리드 운영을 효과적으로 지원할 수 있는 모니터링 시스템은 어떻게 설계될 수 있는가?
• RQ2 다중 도메인 그리드 환경에서 가상조직 중심의 모니터링을 가능하게 하는 메커니즘은 무엇인가?
• RQ3 동적 지도 기반의 지리적 시각화는 그리드 운영 센터에서 장애 탐지 및 대응 능력을 어떻게 향상시킬 수 있는가?
• RQ4 생산용 그리드 테스트베드에서 사용되는 모니터링 도구에 요구되는 확장성 및 신뢰성 기능은 무엇인가?
• RQ5 모니터링 도구는 실패한 브로커나 잘못 설정된 사이트와 같은 인프라 문제를 작업 실행에 영향을 주기 전에 어떻게 조기에 탐지하고 보고할 수 있는가?

주요 결과

• EDT-Monitor는 WorldGRID 시연 기간 동안 여러 가지 운영 문제를 성공적으로 탐지하고 보고하였으며, 이는 고장 난 자원 브로커와 잘못 설정된 사이트를 포함한다.
• 이 도구는 그리드 인프라의 장애를 감지하는 데 소요되는 평균 시간을 단축시켜 실시간으로 작업 디스패칭 문제를 식별할 수 있도록 했다.
• 동적 지도를 통한 지리적 인식 시각화는 직관적인 방식으로 그리드 상태를 제공하여 운영 센터 직원의 상황 인식 능력을 향상시켰다.
• Nagios와의 통합을 통해 수백 개의 그리드 구성 요소를 최소한의 성능 오버헤드로도 견고하고 확장 가능한 모니터링을 수행할 수 있었다.
• VO 중심의 모니터링 모델을 통해 관리자는 조직 경계를 기준으로 문제를 고립하고 진단할 수 있었으며, 이는 운영 효율성을 향상시켰다.
• SuperComputing 2002 및 IST2002와 같은 주요 행사 기간 동안 실용적인 유용성을 입증하여 실제 그리드 운영 환경에서의 효과성을 확인했다.