[논문 리뷰] OpenMosix approach to build scalable HPC farms with an easy management infrastructure

R. Esposito, P. Mastroserio외 2명|ArXiv.org|2003. 05. 26.

Distributed and Parallel Computing Systems인용 수 5

한 줄 요약

이 논문은 고에너지물리학(HEP) 환경에서 고성능 컴퓨팅(HPC) 클러스터를 구축하기 위한 확장성 있고 유지보수 비용이 낮은 솔루션으로 OpenMosix를 제시한다. 디스크리스 노드와 네트워크 부팅을 활용함으로써 효율적인 로드 밸런싱과 자동 프로세스 이관을 실현하여, 최소한의 관리 부담으로도 시스템 성능을 크게 향상시킨다.

ABSTRACT

The OpenMosix approach is a good solution to build powerful and scalable computing farms. Furthermore an easy management infrastructure is implemented using diskless nodes and network boot procedures. In HENP environment, the choice of OpenMosix has been proven to be an optimal solution to give a general performance boost on implemented systems thanks to its load balancing and process migration features. In this poster we give an overview of the activities, carried out by our computing center, concerning the installation, management, monitoring, and usage of HPC Linux clusters running OpenMosix.

연구 동기 및 목표

• 최소한의 관리 부담으로 고에너지물리학(HEP) 환경에서 대규모 HPC 클러스터를 관리하는 과제를 해결한다.
• 동적 워크로드 하에서 높은 성능을 유지할 수 있는 확장 가능한 HPC 인fra를 개발한다.
• 디스크리스 노드와 네트워크 부팅 절차를 활용해 시스템 복잡성을 줄이는 간편한 관리 솔루션을 구현한다.
• 실제 HEP 컴퓨팅 환경에서 OpenMosix의 성능과 관리 용이성에 대한 효과를 평가한다.
• 생산용 HPC 클러스터에서 로드 밸런싱과 프로세스 이관을 구현하는 데 OpenMosix가 실현 가능함을 입증한다.

제안 방법

• 로컬 스토리지 없이 네트워크를 통해 부팅하는 디스크리스 노드를 사용해 Linux 클러스터를 구축함으로써 유지보수를 단순화한다.
• OpenMosix의 내장된 로드 밸런싱 기능을 활용해 컴퓨팅 워크로드를 가용 노드 간에 동적으로 분배한다.
• 노드 간의 프로세스 이관을 투명하게 구현해 시스템 로드를 균형 잡고 자원 활용도를 향상시킨다.
• 중앙집중식 모니터링 및 관리 도구를 도입해 클러스터 운영 및 성능을 통합적으로 관리한다.
• 기존의 HEP 컴퓨팅 워크플로우에 클러스터를 통합해 실시간 데이터 처리 및 분석을 지원한다.
• 표준 네트워킹 프로토콜과 PXE(Preboot Execution Environment)를 활용해 신뢰성 있고 자동화된 노드 부팅을 구현한다.

실험 결과

연구 질문

• RQ1 OpenMosix는 고에너지물리학 환경의 생산용 HPC 환경에서 효과적인 로드 밸런싱과 프로세스 이관을 제공할 수 있는가?
• RQ2 디스크리스 노드와 네트워크 부팅의 사용이 시스템의 확장성과 관리 부담에 어떤 영향을 미치는가?
• RQ3 OpenMosix는 HEP 컴퓨팅 워크로드에서 전체 시스템 성능을 어느 정도 향상시키는가?
• RQ4 실제 HEP 컴퓨팅 센터에 OpenMosix를 도입할 때의 실용적 과제와 이점은 무엇인가?
• RQ5 설치 및 유지보수 용이성 측면에서 전통적인 HPC 클러스터 관리 방식과 비교해 OpenMosix는 어떠한가?

주요 결과

• 디스크리스 노드와 네트워크 부팅을 통해 OpenMosix는 최소한의 관리 노력으로도 확장 가능한 HPC 클러스터를 구축하는 데 성공했다.
• 노드 간 자동 로드 밸런싱과 동적 프로세스 이관 덕분에 시스템 성능 향상이 뚜렷하게 이루어졌다.
• 관리 인fra가 단순화되어 기존 디스크 기반 클러스터 대비 하드웨어 및 유지보수 비용이 감소했다.
• 실제 HEP 컴퓨팅 워크로드에서 클러스터는 뛰어난 성능을 보였으며, 이는 OpenMosix가 HEP 환경에 실현 가능한 솔루션임을 입증했다.
• 배포는 성공적으로 컴퓨팅 센터의 워크플로우에 통합되어 지속적인 데이터 처리 작업을 지원했다.
• 배치 및 인터랙티브 워크로드 양쪽 모두에 대해 솔루션이 효과적이었으며, 다양한 HEP 컴퓨팅 요구사항에 대한 적응력을 보였다.