[论文解读] Economic-based Distributed Resource Management and Scheduling for Grid Computing

Rajkumar Buyya|ArXiv.org|Apr 22, 2002

Distributed and Parallel Computing Systems被引用 195

一句话总结

本文提出了一种基于经济机制的网格计算分布式资源管理与调度框架，采用市场启发式机制调节异构、地理分布的资源之间的供需关系。该框架支持动态、服务质量驱动的调度，平衡用户截止时间、预算和服务水平，通过在万维网格上对参数扫描应用的实验验证了其有效性。

ABSTRACT

Computational Grids, emerging as an infrastructure for next generation computing, enable the sharing, selection, and aggregation of geographically distributed resources for solving large-scale problems in science, engineering, and commerce. As the resources in the Grid are heterogeneous and geographically distributed with varying availability and a variety of usage and cost policies for diverse users at different times and, priorities as well as goals that vary with time. The management of resources and application scheduling in such a large and distributed environment is a complex task. This thesis proposes a distributed computational economy as an effective metaphor for the management of resources and application scheduling. It proposes an architectural framework that supports resource trading and quality of services based scheduling. It enables the regulation of supply and demand for resources and provides an incentive for resource owners for participating in the Grid and motives the users to trade-off between the deadline, budget, and the required level of quality of service. The thesis demonstrates the capability of economic-based systems for peer-to-peer distributed computing by developing users' quality-of-service requirements driven scheduling strategies and algorithms. It demonstrates their effectiveness by performing scheduling experiments on the World-Wide Grid for solving parameter sweep applications.

研究动机与目标

• 解决网格计算环境中异构、地理分布的资源在不同可用性和策略下的管理复杂性。
• 克服由于用户优先级多样、可用性动态变化以及目标冲突带来的资源分配与调度挑战。
• 设计一种可扩展的、激励驱动的框架，鼓励资源所有者参与，并帮助用户在成本、截止时间和服务质量之间实现优化权衡。
• 支持对等资源交易和基于用户指定服务质量要求的动态调度。
• 证明经济模型在大规模、分布式计算环境中可行且有效。

提出的方法

• 引入计算经济隐喻，将资源视为市场体系中的商品。
• 设计一种支持资源交易和基于服务质量的调度的架构框架，通过去中心化协商机制实现。
• 实现由用户定义优先级驱动的调度策略，包括预算约束、截止时间和所需服务水平。
• 利用市场出清机制在分布式节点间平衡供需，确保高效分配。
• 应用基于拍卖和定价模型，根据用户投标和资源可用性动态分配资源。
• 集成反馈机制，根据工作负载和系统状态的实时变化动态调整定价和分配。

实验结果

研究问题

• RQ1 去中心化、市场启发的模型在网格环境中能否有效管理异构且地理分布的资源？
• RQ2 何种机制可在维持用户指定服务质量约束的前提下调节计算资源的供需？
• RQ3 如何利用经济激励促使资源所有者参与并促使用户优化成本、截止时间和服务质量？
• RQ4 基于经济的调度在大规模网格工作负载中相比传统集中式或静态调度能有多大优势？
• RQ5 该框架在动态、真实世界条件下（如可用性波动和用户需求变化）表现如何？

主要发现

• 基于经济的框架在分布式网格环境中成功调节了供需关系，实现了高效且可扩展的资源分配。
• 用户能够有效权衡预算、截止时间和服务质量，调度决策由市场机制引导。
• 系统在万维网格上调度参数扫描应用时表现出稳健性能，实现了高资源利用率和及时完成率。
• 由于动态定价和收益生成，资源所有者被有效激励参与，增强了系统的可持续性。
• 该方法能够动态适应工作负载和可用性的变化，在复杂异构环境中优于静态或集中式模型。
• 调度实验表明，即使在资源可用性波动和用户需求变化的情况下，该框架仍能维持高水平的服务质量。