[논문 리뷰] Towards automation of computing fabrics using tools from the fabric management workpackage of the EU DataGrid project

O. Bärring|ArXiv.org|2003. 05. 28.

Distributed and Parallel Computing Systems참고 문헌 2인용 수 5

한 줄 요약

이 논문은 유럽연합(DataGrid Project)의 Fabric Management Workpackage에서 개발된 도구를 활용하여 대규모 컴퓨팅 패브릭의 자동화된 관리를 위한 프레임워크를 제시한다. 표준 리눅스 도구(예: rpm, kickstart)를 사용하여 중앙집중식 구성 관리, 성능/예외 모니터링, 노드 설치 및 서비스 구성 기능을 통합함으로써, 기업 규모의 컴퓨팅 팜을 2003년 제3분기까지 확장 가능하고 자동화된 방식으로 관리할 수 있도록 한다.

ABSTRACT

The EU DataGrid project workpackage 4 has as an objective to provide the necessary tools for automating the management of medium size to very large computing fabrics. At the end of the second project year subsystems for centralized configuration management (presented at LISA'02) and performance/exception monitoring have been delivered. This will soon be augmented with a subsystem for node installation and service configuration, which is based on existing widely used standards where available (e.g. rpm, kickstart, init.d scripts) and clean interfaces to OS dependent components (e.g. base installation and service management). The three subsystems together allow for centralized management of very large computer farms. Finally, a fault tolerance system is being developed for tying together the above subsystems to form a complete framework for automated enterprise computing management by 3Q03. All software developed is open source covered by the EU DataGrid project license agreements. This article describes the architecture behind the designed fabric management system and the status of the different developments. It also covers the experience with an existing tool for automated configuration and installation that have been adapted and used from the beginning to manage the EU DataGrid testbed, which is now used for LHC data challenges.

연구 동기 및 목표

• 고성능 컴퓨팅 환경에서 중소형에서 대규모의 컴퓨팅 패브릭을 관리하는 데 도전 과제를 해결하기 위해.
• 기업 규모의 컴퓨터 팜을 위한 중앙집중식 자동화 관리 프레임워크를 개발하기 위해.
• 광범위하게 채택된 리눅스 표준(예: rpm, kickstart)을 융합된 패브릭 관리 시스템에 통합하기 위해.
• 모니터링, 구성, 설치 서브시스템의 통합을 통해 고내성 및 시스템 신뢰성을 향상시키기 위해.
• 광범위한 배포와 확장성을 위해 유럽연합 DataGrid 프로젝트 라이선스 하에 오픈소스 도구를 제공하기 위해.

제안 방법

• 시스템 설치 및 서비스 구성에 대해 기존의 개방형 표준(rpm, kickstart, init.d 스크립트 등)을 활용한다.
• 이식성과 유지보수성을 확보하기 위해 운영체제 종속 컴ponent에 대한 깔끔하고 추상화된 인터페이스를 설계한다.
• 세 가지 핵심 서브시스템(중앙집중식 구성 관리, 성능/예외 모니터링, 노드 설치/서비스 구성)을 통합한다.
• 세 서브시스템을 통합하고 조율하는 장애 내성 시스템을 개발하여 완전한 자동화 프레임워크를 구성한다.
• 점진적 배포와 확장성을 허용하기 위해 모듈형, 컴포넌트 기반 아키텍처를 사용한다.
• 투명성과 커뮤니티 수용을 위해 유럽연합 DataGrid 프로젝트 라이선스 계약 하에 오픈소스 소프트웨어를 활용한다.

실험 결과

연구 질문

• RQ1 표준 도구를 활용하여 대규모 컴퓨팅 패브릭을 효율적이고 자동화된 방식으로 관리할 수 있는 방법은 무엇인가?
• RQ2 구성, 모니터링, 설치 서브시스템을 통합된 관리 프레임워크에 통합하기 위한 아키텍처 패턴은 무엇인가?
• RQ3 광범위하게 사용되는 리눅스 표준(예: rpm, kickstart)을 자동화된 패브릭 관리에 얼마나 효과적으로 활용할 수 있는가?
• RQ4 서브시스템 간의 조율을 통해 분산된 패브릭 관리 시스템에서 장애 내성을 어떻게 달성할 수 있는가?
• RQ5 실제 고에너지 물리학 컴퓨팅 테스트베드 환경에 이러한 시스템을 구현할 때의 실용적 과제와 이점은 무엇인가?

주요 결과

• 패브릭 관리 시스템은 구성 관리, 성능 모니터링, 노드 설치를 하나의 중앙집중식 프레임워크로 성공적으로 통합하였다.
• 시스템은 이미 LHC 데이터 과제를 지원하는 데 사용된 유럽연합 DataGrid 테스트베드에서 운영 중이었으며, 실제 적용 가능성을 입증하였다.
• rpm 및 kickstart와 같은 표준 리눅스 도구의 사용으로 호환성 확보와 개발 오버헤드 감소가 가능했다.
• 모듈형 설계 덕분에 점진적 배포가 가능했으며, 구성 및 모니터링 서브시스템은 두 번째 프로젝트 년도에 이미 제공되었다.
• 서브시스템을 통합하기 위한 장애 내성 시스템 개발 중이었으며, 2003년 제3분기까지 완전한 자동화를 목표로 하고 있었다.
• 모든 소프트웨어 컴포넌트는 유럽연합 DataGrid 프로젝트 라이선스 계약 하에 오픈소스로 공개되어 투명성과 재사용을 촉진하였다.