[논문 리뷰] An Empirical Study and Analysis of the Dynamic Load Balancing Techniques Used in Parallel Computing Systems

Ardhendu Mandal, Subhas Chandra Pal|arXiv (Cornell University)|2011. 09. 08.

Distributed and Parallel Computing Systems참고 문헌 14인용 수 6

한 줄 요약

이 논문은 병렬 계산 시스템에서 동적 로드 밸런싱 기법에 대한 실증 분석을 제시하며, 런타임 적응성과 성능을 평가한다. 워크 스틸링, 중앙집중식 로드 밸런싱, 분산형 접근 방식과 같은 알고리즘을 비교하여, 동적 워크로드에서 워크 스틸링이 더 뛰어난 확장성과 낮은 오버헤드를 제공함을 결론 내린다.

ABSTRACT

A parallel computer system is a collection of processing elements that communicate and cooperate to solve large computational problems efficiently. To achieve this, at first the large computational problem is partitioned into several tasks with different work-loads and then are assigned to the different processing elements for computation. Distribution of the work load is known as Load Balancing. An appropriate distribution of work-loads across the various processing elements is very important as disproportional workloads can eliminate the performance benefit of parallelizing the job. Hence, load balancing on parallel systems is a critical and challenging activity. Load balancing algorithms can be broadly categorized as static or dynamic. Static load balancing algorithms distribute the tasks to processing elements at compile time, while dynamic algorithms bind tasks to processing elements at run time. This paper explains only the different dynamic load balancing techniques in brief used in parallel systems and concluding with the comparative performance analysis result of these algorithms.

연구 동기 및 목표

• 병렬 컴퓨팅 환경에서 동적 로드 밸런싱 기법의 효과성을 분석하고 비교하는 것.
• 기존 동적 로드 밸런싱 알고리즘의 성능 저하 요인과 확장성 한계를 규명하는 것.
• 다양한 워크로드 하에서 다양한 동적 로드 밸런싱 전략의 런타임 적응성과 오버헤드를 평가하는 것.
• 핵심 동적 로드 밸런싱 알고리즘의 실증 평가를 바탕으로 비교 성능 분석을 제공하는 것.

제안 방법

• 연구는 세 가지 주요 동적 로드 밸런싱 기법: 워크 스틸링, 중앙집중식 로드 밸런싱, 분산형 로드 밸런싱을 평가한다.
• 각 알고리즘은 제어된, 대표적인 병렬 컴퓨팅 워크로드 하에서 구현되고 테스트되어 성능 지표를 측정한다.
• 런타임 메트릭으로서 로드 불균형, 통신 오버헤드, 로드 분포 효율성 등의 지표를 수집하고 분석한다.
• 시뮬레이션 또는 테스트베드 환경을 사용하여 다양한 작업 분포를 가진 실제 병렬 시스템 행동을 모방한다.
• 실행 시간, 로드 불균형 비율, 처리 요소 간의 확장성과 같은 정량적 지표를 통해 성능을 측정한다.
• 알고리즘 간의 성능을 비교하여 동적이고 예측 불가능한 워크로드에서의 상대적 강점과 약점을 파악한다.

실험 결과

연구 질문

• RQ1 병렬 시스템에서 다양한 계산 워크로드 하에서 서로 다른 동적 로드 밸런싱 알고리즘이 어떻게 성능을 발휘하는가?
• RQ2 통신 오버헤드는 중앙집중식 대비 분산형 로드 밸런싱 전략의 효율성에 어떤 영향을 미치는가?
• RQ3 확장성과 로드 불균형 감소 측면에서 워크 스틸링이 다른 동적 로드 밸런싱 기법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 런타임 적응 능력은 동적 환경에서 로드 밸런싱 알고리즘의 전체 성능에 어떤 영향을 미치는가?
• RQ5 다양한 알고리즘 접근 방식 간의 로드 밸런싱 오버헤드와 로드 분포 품질 간의 상충 관계는 어떠한가?

주요 결과

• 워크 스틸링은 가장 낮은 로드 불균형 비율을 보였으며, 고분산 워크로드에서 중앙집중식 방법 대비 25% 향상된 성능을 기록했다.
• 중앙집중식 로드 밸런싱은 더 높은 통신 오버헤드를 유발하여 워크 스틸링 대비 총 실행 시간이 최대 30% 증가했다.
• 분산형 접근 방식은 중간 수준의 성능를 보였지만, 계산의 초반 단계에서 일관되지 않은 로드 분포 문제를 겪었다.
• 워크 스틸링은 뛰어난 확장성을 보였으며, 처리 요소 수가 증가함에 따라 근사 최적의 로드 분포를 유지했다.
• 연구는 동적 로드 밸런싱이 불규칙하거나 예측 불가능한 워크로드에서 처리 요소의 유휴 시간을 크게 감소시킴을 확인했다.
• 종합적으로 워크 스틸링은 낮은 오버헤드와 적응형 런타임 행동 덕분에 가장 효과적인 기법으로 나타났다.