[논문 리뷰] Economic-based Distributed Resource Management and Scheduling for Grid Computing

Rajkumar Buyya|ArXiv.org|2002. 04. 22.

Distributed and Parallel Computing Systems인용 수 195

한 줄 요약

이 논문은 시장 기반 메커니즘을 활용하여 이질적이고 지리적으로 분산된 자원 간의 수요와 공급을 조절하는 경제 기반 분산 자원 관리 및 스케줄링 프레임워크를 제안한다. 이는 사용자 마감일, 예산, 서비스 수준을 균형 있게 고려하는 동적이고 품질보증(QoS) 기반 스케줄링을 가능하게 하며, 월드와이드 그리드에서의 파arameter sweep 응용 프로그램에 대한 실험을 통해 그 효과를 입증한다.

ABSTRACT

Computational Grids, emerging as an infrastructure for next generation computing, enable the sharing, selection, and aggregation of geographically distributed resources for solving large-scale problems in science, engineering, and commerce. As the resources in the Grid are heterogeneous and geographically distributed with varying availability and a variety of usage and cost policies for diverse users at different times and, priorities as well as goals that vary with time. The management of resources and application scheduling in such a large and distributed environment is a complex task. This thesis proposes a distributed computational economy as an effective metaphor for the management of resources and application scheduling. It proposes an architectural framework that supports resource trading and quality of services based scheduling. It enables the regulation of supply and demand for resources and provides an incentive for resource owners for participating in the Grid and motives the users to trade-off between the deadline, budget, and the required level of quality of service. The thesis demonstrates the capability of economic-based systems for peer-to-peer distributed computing by developing users' quality-of-service requirements driven scheduling strategies and algorithms. It demonstrates their effectiveness by performing scheduling experiments on the World-Wide Grid for solving parameter sweep applications.

연구 동기 및 목표

• 다양한 가용성과 정책을 가진 이질적이고 지리적으로 분산된 자원을 관리하는 데서 발생하는 복잡성을 해결한다.
• 다양한 사용자 우선순위, 동적 가용성, 상충되는 목표로 인한 자원 할당 및 스케줄링 과제를 극복한다.
• 자원 소유자가 참여하도록 유도하고 사용자가 비용, 마감일, 서비스 품질 간의 트레이드오프를 최적화할 수 있도록 확장 가능하고 인centive 기반의 프레임워크를 개발한다.
• 피어 투 피어 자원 거래와 사용자가 지정한 QoS 요구사항 기반의 동적 스케줄링을 가능하게 한다.
• 대규모 분산 계산 환경에서 경제 모델의 타당성과 효과성을 입증한다.

제안 방법

• 자원을 시장 기반 시스템 내 상품으로 간주하는 계산 경제 모델을 도입한다.
• 분산된 협상 메커니즘을 통해 자원 거래와 QoS 기반 스케줄링을 지원하는 아키텍처 프레임워크를 설계한다.
• 예산 제약, 마감일, 요구되는 서비스 수준을 포함한 사용자 정의 우선순위에 기반한 스케줄링 전략을 구현한다.
• 공급과 수요를 분산된 노드 간 균형 잡히게 하기 위해 마켓 클리어링 메커니즘을 활용하여 효율적인 할당을 보장한다.
• 입찰과 자원 가용성에 따라 동적으로 자원을 할당하기 위해 경매 기반 및 가격 설정 모델을 적용한다.
• 변경되는 워크로드와 시스템 조건에 따라 실시간으로 가격과 할당을 적응시키기 위한 피드백 메커니즘을 통합한다.

실험 결과

연구 질문

• RQ1 분산된 그리드 환경에서 이질적이고 지리적으로 분산된 자원을 효과적으로 관리하기 위해 탈중앙화된 시장 기반 모델은 어떻게 작동할 수 있는가?
• RQ2 사용자가 지정한 QoS 제약 조건을 유지하면서 계산 자원의 수요와 공급을 어떻게 조절할 수 있는가?
• RQ3 경제적 인centive는 자원 소유자가 기여하도록 유도하고 사용자가 비용, 마감일, 서비스 품질을 최적화하도록 유도하는 데 어떻게 활용될 수 있는가?
• RQ4 대규모 그리드 워크로드에서 기존의 중심집중식 또는 정적 스케줄링에 비해 경제 기반 스케줄링이 얼마나 뛰어나게 성능을 발휘할 수 있는가?
• RQ5 변동하는 자원 가용성과 변동하는 사용자 수요와 같은 실세계 조건에서 이 프레임워크는 어떻게 성능을 발휘하는가?

주요 결과

• 경제 기반 프레임워크는 분산된 그리드 환경에서 공급과 수요를 성공적으로 조절하여 효율적이고 확장 가능한 자원 할당을 가능하게 한다.
• 사용자는 예산, 마감일, 서비스 품질 간의 효과적인 트레이드오프를 이끌 수 있으며, 시장 메커니즘에 의해 이끌리는 스케줄링 결정을 내릴 수 있다.
• 시스템은 월드와이드 그리드에서 파라미터 스위프 응용 프로그램의 스케줄링에서 높은 자원 활용도와 적시 완료를 달성하며 뛰어난 성능을 보였다.
• 동적 가격 설정과 수익 창출 덕분에 자원 소유자가 참여하도록 유도되어 시스템의 지속 가능성이 향상된다.
• 변동하는 워크로드와 가용성에 대한 동적 적응을 지원하여, 복잡하고 이질적인 환경에서 정적 또는 중심집중식 모델보다 뛰어난 성능을 발휘한다.
• 스케줄링 실험 결과, 자원 가용성과 사용자 수요의 변동성에도 불구하고 프레임워크가 높은 QoS 수준을 유지하는 것으로 확인되었다.