[논문 리뷰] Public Cluster : parallel machine with multi-block approach

Zaenal Akbar, Slamet외 5명|ArXiv.org|2007. 08. 04.

Parallel Computing and Optimization Techniques참고 문헌 1인용 수 6

한 줄 요약

이 논문은 사용자별로 맞춤 설정된 구성으로 고립된 데몬을 각각 실행함으로써 공용 클러스터에서 동시 다중 사용자 병렬 컴퓨팅을 가능하게 하는 다중 블록 아키텍처를 제안한다. 시스템은 웹 기반의 제어 및 모니터링 인터페이스를 사용하며, 성능 평가 결과 전체 효율성에 미치는 영향이 최소화되어 LIPI 공용 클러스터와 같은 공용 고성능 컴퓨팅(HPC) 환경에서의 신뢰성을 입증한다.

ABSTRACT

We introduce a new approach to enable an open and public parallel machine which is accessible for multi users with multi jobs belong to different blocks running at the same time. The concept is required especially for parallel machines which are dedicated for public use as implemented at the LIPI Public Cluster. We have deployed the simplest technique by running multi daemons of parallel processing engine with different configuration files specified for each user assigned to access the system, and also developed an integrated system to fully control and monitor the whole system over web. A brief performance analysis is also given for Message Parsing Interface (MPI) engine. It is shown that the proposed approach is quite reliable and affect the whole performances only slightly.

연구 동기 및 목표

• 다수의 사용자가 동시에 액세스할 수 있는 공용 공유 병렬 컴퓨팅 환경을 제공하기 위해.
• 동일한 클러스터에서 서로 다른 사용자로부터 온 다수의 독립적 작업(블록)이 병렬로 실행되도록 지원하기 위해.
• 공용 고성능 컴퓨팅(HPC) 클러스터를 위한 확장 가능하고 신뢰할 수 있는 시스템 아키텍처를 설계하기 위해.
• 중앙 집중식 웹 기반 인터페이스를 구현하여 시스템 제어 및 실시간 모니터링을 가능하게 하기 위해.
• 메시지 전달 인터페이스(MPI) 워크로드에 대한 다중 블록 접근 방식의 성능 영향을 평가하기 위해.

제안 방법

• 사용자별 설정을 반영한 병렬 처리 엔진 데몬을 다수 배포하여 각각의 작업을 고립하고 관리하기 위해.
• 각 사용자 또는 작업 그룹을 전용 자원 할당과 구성이 적용된 별도의 '블록'에 할당하기 위해.
• 각 데몬의 고립성과 독립적 운영을 보장하기 위해 별도의 구성 파일을 사용하기 위해.
• 모든 클러스터 활동을 실시간으로 모니터링하고 제어할 수 있도록 통합 웹 기반 시스템을 개발하기 위해.
• 분산 컴퓨팅 워크로드를 위한 메시지 전달 인터페이스(MPI) 엔진을 구현하기 위해.
• 시스템 오버헤드와 신뢰성을 평가하기 위해 MPI 엔진의 성능 분 析를 수행하기 위해.

실험 결과

연구 질문

• RQ1 공용 클러스터는 간섭 없이 동시 다중 사용자 병렬 워크로드를 어떻게 지원할 수 있는가?
• RQ2 여러 사용자가 동시에 작업을 실행할 때 고립성과 신뢰성을 확보하기 위한 아키텍처 접근 방식은 무엇인가?
• RQ3 다중 블록 데몬 아키텍처는 전체 시스템 성능에 어느 정도의 영향을 미치는가?
• RQ4 중앙 집중식 웹 인터페이스는 다중 사용자 클러스터 환경을 효과적으로 관리하고 모니터링할 수 있는가?
• RQ5 다른 구성으로 다수의 데몬을 실행함으로써 발생하는 성능 오버헤드는 어느 정도인가?

주요 결과

• 다중 블록 접근 방식은 공유 클러스터 인프라에서 다수의 사용자 작업을 동시에 실행하는 데 성공적으로 기여한다.
• 다수의 고립된 데몬을 관리하는 복잡성에도 불구하고 시스템은 높은 신뢰성을 유지한다.
• 다중 블록 아키텍처로 인한 성능 저하는 최소화되어 전체 시스템 효율성에 미치는 영향이 미미하다.
• 웹 기반의 모니터링 및 제어 시스템은 클러스터 운영에 대한 실시간 효과적인 시각화를 제공한다.
• MPI 엔진 평가 결과, 이 접근 방식은 생산용 공용 HPC 환경에 적합하다는 것이 확인되었다.
• LIPI 공용 클러스터에 대한 구현은 실용성과 확장성의 실현 가능성을 입증한다.