[논문 리뷰] Data Diffusion: Dynamic Resource Provision and Data-Aware Scheduling for Data Intensive Applications

Ioan Raicu, Yong Zhao외 2명|ArXiv.org|2008. 08. 26.

Distributed and Parallel Computing Systems참고 문헌 35인용 수 5

한 줄 요약

이 논문은 동적 자원 할당과 지능적인 데이터 집약적 워크로드 스케줄링을 위해 요구 시 데이터 복제, 캐싱, 데이터 국지성 인식 스케줄링을 조합한 Data Diffusion 프레임워크를 제안한다. 천문학 워크벤치에서 검증된 데이터 확산 모델을 사용하여 변동하는 워크로드 하에서 자원 활용도와 처리량을 크게 향상시키며, 전통적 접근 방식 대비 성능 지수는 최대 34배 높고, 반응 시간은 506배 이상 빠르게 구현한다.

ABSTRACT

Data intensive applications often involve the analysis of large datasets that require large amounts of compute and storage resources. While dedicated compute and/or storage farms offer good task/data throughput, they suffer low resource utilization problem under varying workloads conditions. If we instead move such data to distributed computing resources, then we incur expensive data transfer cost. In this paper, we propose a data diffusion approach that combines dynamic resource provisioning, on-demand data replication and caching, and data locality-aware scheduling to achieve improved resource efficiency under varying workloads. We define an abstract "data diffusion model" that takes into consideration the workload characteristics, data accessing cost, application throughput and resource utilization; we validate the model using a real-world large-scale astronomy application. Our results show that data diffusion can increase the performance index by as much as 34X, and improve application response time by over 506X, while achieving near-optimal throughputs and execution times.

연구 동기 및 목표

• 변동하는 워크로드 하에서 전용 컴퓨팅/스토리지 팜의 낮은 자원 활용도 문제를 해결하기 위해.
• 대규모 데이터셋을 분산 컴퓨팅 자원으로 이동시키는 데 수반되는 높은 데이터 이동 비용을 줄이기 위해.
• 지능적인 스케줄링과 동적 자원 관리로 데이터 집약적 과학 응용 프로그램의 처리량과 실행 효율을 향상시키기 위해.
• 워크로드 특성, 데이터 접근 비용, 자원 활용도를 균형 잡는 데 효과적인 데이터 확산 모델을 개발하고 검증하기 위해.
• 특히 천문학 분야에서 실세계 데이터 집약적 응용 프로그램에서 뚜렷한 성능 향상을 입증하기 위해.

제안 방법

• 워크로드 역학, 데이터 접근 비용, 자원 활용도를 추상화한 데이터 확산 모델을 제안하여 스케줄링 결정을 안내한다.
• 실시간 워크로드 수요에 따라 컴퓨팅 자원을 동적으로 확보하는 기술을 도입한다.
• 필요 시 데이터 복제 및 캐싱을 활용하여 계산에 가까운 곳에 데이터를 배치함으로써 데이터 이동 오버헤드를 최소화한다.
• 데이터 국지성 인식 스케줄링을 사용하여 필요한 데이터가 이미 존재하는 노드에서 작업을 우선순위로 배치한다.
• 이러한 구성 요소들을 융합하여 워크로드 변동성과 데이터 접근 패턴에 적응 가능한 통합 런타임 시스템을 구성한다.
• 대규모 데이터 처리 워크로드를 가진 실세계 천문학 응용 프로그램을 사용하여 모델을 검증한다.

실험 결과

연구 질문

• RQ1 변동하는 워크로드 하에서 데이터 집약적 응용 프로그램의 자원 활용도는 어떻게 향상시킬 수 있는가?
• RQ2 동적 자원 할당과 데이터 기반 스케줄링은 데이터 이동 비용을 얼마나 줄일 수 있는가?
• RQ3 통합된 모델이 분산 데이터 처리 환경에서 데이터 접근 비용, 처리량, 자원 활용도를 효과적으로 균형 잡을 수 있는가?
• RQ4 실세계 데이터 집약적 워크로드에서 데이터 확산을 통해 달성 가능한 성능 향상은 무엇인가?
• RQ5 반응 시간과 처리량 측면에서 데이터 확산은 기존의 전용 팜 또는 데이터 이동 기반 접근 방식과 비교해 어떻게 성능을 냈는가?

주요 결과

• Data Diffusion는 기준 접근 방식 대비 성능 지수를 최대 34배 향상시켰다.
• 응용 프로그램 반응 시간은 506배 이상 향상되어 뚜렷한 성능 향상을 입증했다.
• 다양한 워크로드 하에서 응용 프로그램 처리량과 실행 시간이 거의 최적에 가까운 수준을 달성했다.
• 실제 환경에서 워크로드 역학, 데이터 접근 비용, 자원 활용도를 효과적으로 균형 잡는 데 성공했다.
• 실세계 천문학 응용 프로그램에서의 검증을 통해 제안된 접근 방식의 확장성과 효율성을 확인했다.
• 동적 할당, 캐싱, 데이터 기반 스케줄링의 조합이 유휴 시간과 데이터 이동 오버헤드를 크게 줄였다.