[논문 리뷰] Multi and Independent Block Approach in Public Cluster

Zaenal Akbar, L. T. Handoko|arXiv (Cornell University)|2007. 08. 25.

Cloud Computing and Resource Management참고 문헌 9인용 수 3

한 줄 요약

이 논문은 데이터 집약적 워크로드를 위한 성능 향상을 위해 공용 클러스터에서 다중 및 독립 블록 아키텍처를 제안한다. 각 블록당 하나의 마스터 노드를 사용하여 마스터 제어를 분산화함으로써, 병목 현상을 줄이고 확장성을 향상시키며, 독립 블록 간 동시 작업 실행을 가능하게 한다. 이는 대규모 구현에서 클러스터의 총 효율성을 크게 향상시킨다.

ABSTRACT

We present extended multi block approach in the LIPI Public Cluster. The multi block approach enables a cluster to be divided into several independent blocks which run jobs owned by different users simultaneously. Previously, we have maintained the blocks using single master node for all blocks due to efficiency and resource limitations. Following recent advancements and expansion of nodeś number, we have modified the multi block approach with multiple master nodes, each of them is responsible for a single block. We argue that this approach improves the overall performance significantly, for especially data intensive computational works.

연구 동기 및 목표

• 중앙 집중식 마스터 노드 관리로 인한 대규모 공용 클러스터의 성능 병목 현상 해결.
• 클러스터를 독립적이고 사용자별로 지정된 블록으로 분할하여 동시 작업 실행을 가능하게 함.
• 분산된 마스터 노드 아키텍처를 통해 시스템의 확장성과 자원 활용도 향상.
• 공용 클러스터 환경에서 데이터 집약적 계산 워크로드의 효율적 관리 지원.
• 기존 단일 마스터 다중 블록 시스템의 자원 제약을 극복하기 위해 전용 마스터를 다수 도입함.

제안 방법

• LIPI 공용 클러스터를 다수의 독립 블록으로 분할하고, 각 블록은 전용 마스터 노드가 관리.
• 각 마스터 노드가 자체 블록의 작업 스케줄링, 자원 할당 및 모니터링을 담당하도록 할당.
• 단일 장애 지점 제거 및 한 마스터 노드의 부담 감소를 위해 제어를 분산.
• 기존 단일 마스터 다중 블록 설계와의 후행 호환성을 유지하면서 성능 향상.
• 블록 간 일관성과 장애 내성 확보를 위한 분산 협업 메커니즘 사용.
• 네트워크 지연을 줄이기 위해 각 블록 내에서 데이터 및 계산을 국지화함으로써 데이터 액세스 패턴 최적화.

실험 결과

연구 질문

• RQ1 다중 블록에 걸쳐 마스터 노드 책임을 분산화할 경우 클러스터 성능에 어떤 영향을 미치는가?
• RQ2 다중 마스터 블록 아키텍처는 공용 클러스터에서 얼마나 확장성 향상에 기여하는가?
• RQ3 독립 블록 관리 방식이 작업 스케줄링 지연과 자원 경쟁을 줄일 수 있는가?
• RQ4 이 방법을 통해 데이터 집약적 워크로드에서 기대할 수 있는 성능 향상은 어느 정도인가?
• RQ5 다수의 독립 마스터 노드를 사용할 경우 일관성과 장애 내성은 어떻게 유지되는가?

주요 결과

• 다중 마스터 블록 아키텍처는 데이터 집약적 계산 작업에 특히 뛰어난 전반적 클러스터 성능 향상을 이룬다.
• 분산된 마스터 노드는 어느 한 노드의 부담을 줄여 병목 현상을 최소화하고 반응 시간을 향상시킨다.
• 독립 블록 관리로 인해 서로 다른 사용자의 작업이 간섭 없이 동시에 실행될 수 있다.
• 다수의 마스터 노드에 걸친 부하 분산 덕분에 시스템의 확장성 향상이 뚜렷하다.
• 이전의 단일 마스터 다중 블록 모델 대비 자원 활용도와 작업 처리량이 증가한다.
• 국소화된 제어 및 협업 메커니즘을 통해 시스템 안정성과 장애 내성 유지.