[논문 리뷰] RUPER-LB: Load balancing embarrasingly parallel applications in unpredictable cloud environments

Vicent Giménez-Alventosa, Germán Moltó Martínez외 1명|arXiv (Cornell University)|2020. 05. 13.

Cloud Computing and Resource Management참고 문헌 15인용 수 5

한 줄 요약

RUPER-LB는 예측할 수 없는 클라우드 환경에서 느슨하게 결합된 반복형 MPI/다중스레드 애플리케이션을 위한 경량이며 비동기식 로드 밸런서이다. 실시간 스레드 속도 보고를 기반으로 작업을 동적으로 재분배하여 실행 시간을 최대 6–7% 감소시키며, 성능이 변동하는 조건에서도 상호 랭크 및 상호 스레드 지연을 체크포인트 간격 이내로 유지한다.

ABSTRACT

The suitability of cloud computing has been studied by several authors to run scientific applications. However, the unpredictable performance fluctuations in these environments hinders the migration of scientific applications to cloud providers. To mitigate these effects, this work presents RUPER-LB, a load balancer for loosely-coupled iterative parallel applications that runs on infrastructures with disparate computing capabilities. The results obtained with a real world simulation software, show the suitability of RUPER-LB to adapt this kind of applications to execution environments with variable performance and highlight the convenience of its adoption.

연구 동기 및 목표

• 소음이 있는 이웃 프로세스와 예측할 수 없는 vCPU 동작으로 인해 발생하는 성능 변동성을 해결하기 위해.
• 혼합된 MPI 및 다중스레딩 병렬 처리 방식을 사용하는 느슨하게 결합된 반복형 과학적 애플리케이션을 위한 효율적인 로드 밸런싱을 가능하게 하기 위해.
• 이질적인 클라우드 인fra에서 가장 느린 프로세스 및 스레드 간 지연을 최소화하여 실행 시간을 단축하기 위해.
• 사전 성능 지식이 필요 없으며 타이트한 동기화를 요구하지 않는 저오버헤드이고 쉽게 통합할 수 있는 솔루션을 제공하기 위해.
• 통제된 성능 변동 조건 하에서 실제 방사선 이동 시뮬레이션(PenRed)을 사용하여 RUPER-LB의 효과성을 평가하기 위해.

제안 방법

• RUPER-LB는 각 MPI 랭크에서 주기적으로 비동기적으로 보고되는 스레드 실행 속도를 이용하여 작업 분포를 평가한다.
• 정적 성능 모델에 의존하지 않고 실시간 성능 메트릭을 기반으로 스레드 및 프로세스 간 반복 작업을 동적으로 재분배한다.
• 통신 오버헤드가 최소화된 시스템으로, 주기적인 속도 보고 외에는 추가 통신이 필요 없어, 심지어 희소한 동기화를 가지는 애플리케이션에도 적합하다.
• 다중프로세스(MPI) 및 다중스레딩 로드 밸런싱을 모두 지원하여 두 수준에서 작업 적응을 가능하게 한다.
• 알고리즘은 상호 랭크 및 상호 스레드 실행 지연을 설정 가능한 체크포인트 간격(Δt_pc) 이내로 유지하도록 설계되어 진전 일관성을 보장한다.
• RUPER-LB는 오픈소스(GPLv3)이며, 기존의 MPI/다중스레딩 애플리케이션에 최소한의 코드 변경으로 쉽게 통합할 수 있다.

실험 결과

연구 질문

• RQ1 경량이며 비동기식 로드 밸런서가 클라우드 기반 과학적 애플리케이션에서 성능 변동성을 효과적으로 완화할 수 있는가?
• RQ2 RUPER-LB는 예측할 수 없는 vCPU 성능 조건에서 느슨하게 결합된 반복형 MPI/다중스레딩 애플리케이션의 실행 시간을 어떻게 감소시키는가?
• RQ3 기본 하드웨어 성능이 변동할 경우 RUPER-LB가 스레드 및 프로세스 간 로드 밸런싱을 어느 정도 유지할 수 있는가?
• RQ4 RUPER-LB의 통신 및 처리 시간 오버헤드는 비균형 실행 대비 얼마나 되는가?
• RQ5 RUPER-LB는 PenRed과 같은 실제 과학 시뮬레이션 워크로드에 대해 상당한 통합 복잡성 없이 효과적으로 적용될 수 있는가?

주요 결과

• RUPER-LB는 단일 테넌트 노드에서 4개의 MPI 프로세스와 각각 8개의 스레드를 사용하여 실행한 시뮬레이션에서 내부 스레드 속도 변동이 있었음에도 불구하고 총 실행 시간을 6–7% 감소시켰다.
• 로드 밸런싱을 적용함으로써 상호 랭크 실행 시간의 차이는 300초의 체크포인트 간격(Δt_pc) 이내로 유지되어 일관된 진전을 보였다.
• 각 MPI 랭크 내부의 상호 스레드 지연 역시 Δt_pc 이내로 유지되어 실시간 동적 로드 분배의 효과성을 입증했다.
• 비동기적이고 주기적인 보고 메커니즘 덕분에 오버헤드가 극히 미미하여 낮은 통신 요구 조건을 가진 애플리케이션에 적합했다.
• 상호 랭크 불균형이 존재하지 않는 상황에서도 RUPER-LB는 동일한 MPI 프로세스 내에서 스레드 속도 변화의 분리 현상을 통해 스레드 수준에서의 작업 균형 조정을 통해 성능 향상을 이룬 바 있다.
• 결과적으로 RUPER-LB는 사전 성능 지식이나 복잡한 상태 전달 없이도 클라우드 환경에서의 성능 변동성을 효과적으로 완화함을 확인했다.