[논문 리뷰] Scheduling in Data Intensive and Network Aware (DIANA) Grid Environments

Richard McClatchey, Ashiq Anjum외 4명|ArXiv.org|2007. 07. 05.

Distributed and Parallel Computing Systems참고 문헌 29인용 수 4

한 줄 요약

이 논문은 그리드 환경을 위한 데이터 집약적이고 네트워크 인지적인(DIANA, Data Intensive and Network Aware) 메타스케줄러를 제안하며, 데이터 로컬리티, 처리 능력, 실시간 네트워크 특성을 종합적으로 고려하여 작업 스케줄링을 최적화한다. 네트워크 지연, 데이터 크기, 가용 사이클을 포함한 가중치 비용 함수를 계산함으로써, 테스트베드 평가에서 작업 대기열 및 실행 시간을 크게 단축시켰으며, 네트워크 인지 스케줄링이 기존의 데이터 또는 계산 중심 접근 방식보다 성능을 향상시킨다는 것을 입증한다.

ABSTRACT

In Grids scheduling decisions are often made on the basis of jobs being either data or computation intensive: in data intensive situations jobs may be pushed to the data and in computation intensive situations data may be pulled to the jobs. This kind of scheduling, in which there is no consideration of network characteristics, can lead to performance degradation in a Grid environment and may result in large processing queues and job execution delays due to site overloads. In this paper we describe a Data Intensive and Network Aware (DIANA) meta-scheduling approach, which takes into account data, processing power and network characteristics when making scheduling decisions across multiple sites. Through a practical implementation on a Grid testbed, we demonstrate that queue and execution times of data-intensive jobs can be significantly improved when we introduce our proposed DIANA scheduler. The basic scheduling decisions are dictated by a weighting factor for each potential target location which is a calculated function of network characteristics, processing cycles and data location and size. The job scheduler provides a global ranking of the computing resources and then selects an optimal one on the basis of this overall access and execution cost. The DIANA approach considers the Grid as a combination of active network elements and takes network characteristics as a first class criterion in the scheduling decision matrix along with computation and data. The scheduler can then make informed decisions by taking into account the changing state of the network, locality and size of the data and the pool of available processing cycles.

연구 동기 및 목표

• 스케줄링 과정에서 네트워크 특성을 忽시함으로써 발생하는 성능 저하 문제를 해결하기 위해.
• 데이터 로컬리티, 처리 능력, 네트워크 상태를 스케줄링 결정에 통합하여 데이터 집약적 워크로드에서 작업 실행 효율을 향상시키기 위해.
• 분산된 사이트 간 지능적인 자원 선택을 통해 작업 대기열 길이와 실행 지연을 줄이기 위해.
• 네트워크 성능을 데이터 및 계산과 동등한 기준으로 다루는 메타스케줄링 프레임워크를 개발하기 위해.
• 실세계 그리드 테스트베드 환경에서 네트워크 인지 스케줄링의 효과성을 검증하기 위해.

제안 방법

• DIANA 스케줄러는 각 잠재적 대상 사이트에 대해 네트워크 지연, 데이터 크기, 가용 처리 사이클을 종합한 글로벌 비용 함수를 계산한다.
• 각 사이트에 대해 네트워크 성능의 역수, 데이터 전송 비용, 계산 가용성 기반의 가중치 요소를 계산한다.
• 비용 함수에서 유도된 총 액세스 및 실행 비용을 기반으로 모든 가용 컴퓨팅 자원을 순위 매긴다.
• 전체 비용이 가장 낮은 사이트를 선택하여 작업 배치를 수행함으로써 종단 간 지연을 최소화한다.
• 변동하는 네트워크 조건, 데이터 분포, 자원 가용성에 실시간으로 적응하는 동적 접근 방식을 취한다.
• 실제 워크로드 조건 하에서 성능을 평가하기 위해 다중 사이트 그리드 테스트베드에 구현 및 배포하였다.

실험 결과

연구 질문

• RQ1 데이터 집약적 그리드 워크로드에서 스케줄링에 네트워크 특성을 통합할 경우, 작업 대기열 및 실행 시간에 어떤 영향을 미치는가?
• RQ2 데이터 로컬리티, 처리 능력, 네트워크 상태를 고려하는 메타스케줄러가 전체 작업 완료 시간을 얼마나 줄일 수 있는가?
• RQ3 동적 네트워크 상태 인지 기능이 정적 또는 계산 중심 스케줄링에 비해 스케줄링 효율성에 어떤 영향을 미치는가?
• RQ4 네트워크, 데이터, 계산 메트릭을 통합한 통합 비용 함수가 분산된 그리드 환경에서 기존 스케줄링 전략을 능가할 수 있는가?
• RQ5 DIANA 스케줄러는 다양한 워크로드와 네트워크 조건 하에서도 확장성과 반응성을 유지할 수 있는가?

주요 결과

• 테스트베드에서 기존 스케줄링 접근 방식에 비해 DIANA 스케줄러가 작업 대기열 길이를 크게 단축시켰다.
• 최적화된 데이터 전송 경로와 더 나은 자원 선택 덕분에 작업 실행 시간이 향상되었다.
• 스케줄링 결정 행렬에 네트워크 특성을 통합함으로써 데이터 집약적 워크로드에서 측정 가능한 성능 향상이 이루어졌다.
• 가중치 비용 함수는 네트워크, 데이터, 계산 요소를 효과적으로 균형 잡아 총 액세스 및 실행 비용을 낮추는 데 성공했다.
• 스케줄러는 동적 네트워크 조건에 적응 가능했으며, 낮은 지연과 높은 처리량을 유지했다.
• 실제 구현을 통해 네트워크 인지 스케줄링이 실세계 그리드 환경에서 실현 가능하고 효과적임을 확인했다.