[논문 리뷰] Executing Bag of Distributed Tasks on the Cloud: Investigating the Trade-offs Between Performance and Cost

Long Thai, Blesson Varghese외 1명|arXiv (Cornell University)|2014. 10. 30.

Cloud Computing and Resource Management참고 문헌 12인용 수 4

한 줄 요약

이 논문은 클라우드에서 분산 작업 집합(BoDT)을 실행할 때 성능과 비용의 상호보완적 관계를 최적화하기 위해 데이터 소스 근처에서 작업을 분산 실행함으로써 탈중앙화하는 휴리스틱 알고리즘을 제안한다. 이 방법은 데이터 전송 및 처리 시간을 모델링하며, 사용자가 정의한 성능-비용 선호도(베타 매개변수를 통해)를 반영하여 최적의 실행 계획을 도출한다. 결과적으로 91%의 경우에서 최적의 성능을 달성하였으며, 중심화된 실행 방식에 비해 뚜렷한 비용-성능 향상을 입증하였다.

ABSTRACT

Bag of Distributed Tasks (BoDT) can benefit from decentralised execution on the Cloud. However, there is a trade-off between the performance that can be achieved by employing a large number of Cloud VMs for the tasks and the monetary constraints that are often placed by a user. The research reported in this paper is motivated towards investigating this trade-off so that an optimal plan for deploying BoDT applications on the cloud can be generated. A heuristic algorithm, which considers the user's preference of performance and cost is proposed and implemented. The feasibility of the algorithm is demonstrated by generating execution plans for a sample application. The key result is that the algorithm generates optimal execution plans for the application over 91\% of the time.

연구 동기 및 목표

• 클라우드에서 분산 작업 집합(BoDT)을 실행할 때 성능과 금전적 비용 간의 상호보완적 관계를 조사한다.
• 사용자의 성능 및 비용 선호도에 기반하여 최적의 실행 계획을 생성하는 휴리스틱 알고리즘을 개발한다.
• 비용과 성능 측면에서 중심화된 실행 전략과 탈중앙화된 실행 전략을 비교한다.
• 지리적 데이터 분포와 네트워크 전송 시간이 BoDT 실행에 미치는 영향을 모델링한다.
• 실제 응용 시나리오를 통해 제안된 접근 방식의 타당성과 효율성을 검증한다.

제안 방법

• 데이터 크기 $ s_t $, 단위 전송 시간 $ trans_{l_t,c} $, 처리 속도 $ comp $ 를 고려하여 작업 실행을 모델링하며, 전송 시간은 $ trans_{t,c} = s_t \times trans_{l_t,c} $, 처리 시간은 $ comp_{t,c} = s_t \times comp $ 로 정의한다.
• 각 작업의 총 실행 시간을 $ exec_{t,c} = trans_{t,c} + comp_{t,c} $ 로 정의하고, 각 배포 구성에 대해 모든 작업의 총 실행 시간을 계산한다.
• 성능(시간 최소화)과 비용(VM 사용 최소화) 간의 균형을 조절하기 위해 사용자 선호도 매개변수 $ \beta \in [0,1] $ 를 도입하며, $ \beta = 0 $ 은 비용을 우선시하고 $ \beta = 1 $ 은 성능을 우선시한다.
• 클라우드 지역 간 다양한 VM 배포 구성에 대해 휴리스틱 탐색을 적용하여 사용자의 $ \beta $ 기반 선호도에 가장 부합하는 계획을 선별한다.
• 뉴스 집계와 같은 샘플 BoDT 응용 프로그램을 활용하여 다양한 $ \beta $ 값에서 알고리즘을 평가하고 예측된 최적 계획과 실제 최적 계획을 비교한다.
• 중앙화(단일 VM)와 탈중앙화(데이터 소스 근처의 다수의 VM) 실행 모델을 비교하여 성능 및 비용의 상호보완적 관계를 정량화한다.

실험 결과

연구 질문

• RQ1 클라우드에서 BoDT 애플리케이션을 배포할 때 실행 성능과 금전적 비용 간의 최적의 상호보완적 관계는 무엇인가?
• RQ2 데이터 소스 근처에서 작업 실행을 탈중앙화하면 BoDT 워크로드의 성능과 비용에 어떤 영향을 미치는가?
• RQ3 휴리스틱 알고리즘이 사용자가 정의한 성능-비용 선호도에 부합하는 실행 계획을 얼마나 잘 생성할 수 있는가?
• RQ4 배포 구성 선택(중앙화 대 탈중앙화)이 총 실행 시간과 비용에 어떤 영향을 미치는가?
• RQ5 사용자 선호도(즉, $ \beta $ 를 변화시킬 때) 변화에 따른 최적 계획의 민감도는 어떠한가?

주요 결과

• 휴리스틱 알고리즘은 11개 테스트 케이스 중 10개에서 최적의 실행 계획을 성공적으로 생성하여 성공률가 91%를 기록하였다.
• 알고리즘은 사용자 선호도 매개변수 $ \beta $ 를 기반으로 배포 구성 조정을 통해 성능과 비용을 효과적으로 균형 잡으며, 다양한 $ \beta $ 값에서 성능 및 비용이 예측 가능하게 변화함을 입증하였다.
• 데이터 소스 근처에 작업을 분산 배포함으로써 전송 지연을 최소화함으로써 탈중앙화된 실행 방식이 중심화된 실행 방식 대비 총 실행 시간을 크게 감소시켰다.
• 모델은 탈중앙화로 인한 성능 향상이 뚜렷한 반면, 더 높은 비용을 수반함을 보여주며, 선호도 기반 최적화 접근이 필수적임을 시사한다.
• 프레임워크는 성능-비용 상호보완적 관계를 명확히 드러내며, 사용자 선호도가 변화함에 따라 최적 구성이 어떻게 이동하는지 보여주며, $ \beta $ 가 핵심 제어 매개변수로 작용함을 입증하였다.
• 실험 결과는 제안된 수학적 모델과 휴리스틱이 뉴스 집계 시스템과 같은 실세계 BoDT 워크로드에 대해 타당하고 효과적임을 확인하였다.