[논문 리뷰] Turning Cluster Management into Data Management: A System Overview

Eric Robinson, David J. DeWitt|ArXiv.org|2006. 12. 27.

Distributed and Parallel Computing Systems참고 문헌 5인용 수 14

한 줄 요약

이 논문은 3단계 웹 아키텍처와 데이터베이스 기술을 활용하여 저수준 클러스터 관리 작업을 고수준의 데이터 관리 문제로 전환하는 데이터 중심 클러스터 관리 시스템인 CondorJ2를 소개한다. 클러스터 자원과 운영을 데이터로 모델링함으로써, 대규모 클러스터(1,000~10,000노드)에서의 확장성과 유지보수성을 향상시키며, 데이터베이스 시스템이 전통적인 쿼리 처리를 초월해 분산 컴퓨팅 자원을 효과적으로 관리할 수 있음을 입증한다.

ABSTRACT

This paper introduces the CondorJ2 cluster management system. Traditionally, cluster management systems such as Condor employ a process-oriented approach with little or no use of modern database system technology. In contrast, CondorJ2 employs a data-centric, 3-tier web-application architecture for all system functions (e.g., job submission, monitoring and scheduling; node configuration, monitoring and management, etc.) except for job execution. Employing a data-oriented approach allows the core challenge (i.e., managing and coordinating a large set of distributed computing resources) to be transformed from a relatively low-level systems problem into a more abstract, higher-level data management problem. Preliminary results suggest that CondorJ2's use of standard 3-tier software represents a significant step forward to the design and implementation of large clusters (1,000 to 10,000 nodes).

연구 동기 및 목표

• 대규모 환경에서 기존의 프로세스 중심 클러스터 관리 시스템의 복잡성과 취약성을 해결하기 위해.
• 데이터 관리 원칙과 데이터베이스 기술이 시스템 수준의 클러스터 조율에 적용될 수 있는지 탐색하기 위해.
• 저수준 시스템 운영을 데이터 모델로 추상화하여 클러스터 관리의 유지보수성, 확장성, 확장성을 향상시키기 위해.
• 표준 3단계 웹 애플리케이션 패턴과 관계형 데이터베이스를 핵심 클러스터 관리 기능에 사용할 수 있는지 평가하기 위해.
• 구조화된 데이터 접근을 통해 더 직관적인 모니터링, 스케줄링 및 분산 자원 설정을 가능하게 하기 위해.

제안 방법

• 프레젠테이션, 애플리케이션, 데이터 레이어가 분리된 3단계 웹 애플리케이션 아키텍처를 채택하여 모듈성과 유지보수성을 확보하기 위해.
• 모든 클러스터 관리 기능—작업 제출, 스케줄링, 노드 설정, 모니터링—을 중심 데이터베이스에 저장된 관계형 데이터로 모델링하기 위해.
• 클러스터 상태를 관리하고 쿼리하기 위해 표준 SQL 기반 연산을 사용하여, 기존의 고유한 시스템 수준 로직을 선언적 데이터 조작으로 대체하기 위해.
• 일관성과 효율적인 데이터 접근을 보장하기 위해 ACID 트랜잭션, 인덱싱, 뷰와 같은 기존 데이터베이스 기능을 활용하기 위해.
• 사용자 상호작용을 위한 웹 기반 인터페이스를 구현하고, 백엔드 로직이 모든 조율 작업을 데이터베이스 트랜잭션을 통해 처리하기 위해.
• 작업 실행과 관리 로직을 분리하여, 데이터 레이어가 직접 프로세스 제어 없이도 자원을 조율할 수 있도록 하기 위해.

실험 결과

연구 질문

• RQ1 데이터 중심 접근 방식이 대규모 클러스터 관리 시스템의 설계 및 구현을 상당히 단순화할 수 있는가?
• RQ2 기존의 데이터베이스 기술이 분산 컴퓨팅 자원을 관리하는 데 있어 저수준 시스템 프로그래밍을 얼마나 효과적으로 대체할 수 있는가?
• RQ3 3단계 웹 아키텍처를 사용할 경우 클러스터 관리 시스템의 유지보수성과 확장성은 어떻게 향상되는가?
• RQ4 대규모 환경(1,000~10,000노드)에서 데이터베이스 기반 클러스터 매니저의 성능 및 확장성 특성은 어떠한가?
• RQ5 트랜잭션과 인덱싱과 같은 표준 데이터베이스 기능이 동적이고 동시적인 클러스터 상태 업데이트를 효과적으로 관리할 수 있는가?

주요 결과

• CondorJ2는 표준 데이터베이스 기술을 활용하여 클러스터 관리를 시스템 프로그래밍 문제에서 데이터 관리 문제로 성공적으로 전환시켰다.
• 중앙 집중식 데이터 스토어를 사용하는 3단계 아키텍처를 도입함으로써 시스템의 모듈성 향상과 개발 및 디버깅의 단순화가 이루어졌다.
• 초기 결과에 따르면, 데이터베이스 기반 조율 방식은 대규모 클러스터에 대해 효과적으로 확장 가능하며, 1,000에서 10,000노드까지 지원함을 보여주었다.
• 시스템은 표준 SQL 연산을 사용해 작업 스케줄링 및 노드 모니터링과 같은 복잡한 조율 작업을 관리할 수 있음을 입증했다.
• 시스템 상태를 데이터로 추상화함으로써, 기존의 프로세스 기반 접근 방식에 비해 더 풍부한 쿼리, 보고서 작성 및 모니터링 기능을 제공할 수 있었다.
• 작업 실행과 관리 로직을 분리함으로써 신뢰성이 향상되었으며, 외부 도구 및 모니터링 시스템과의 통합도 용이해졌다.