[论文解读] Executing Bag of Distributed Tasks on the Cloud: Investigating the Trade-offs Between Performance and Cost

Long Thai, Blesson Varghese+1 more|arXiv (Cornell University)|Oct 30, 2014

Cloud Computing and Resource Management参考文献 12被引用 4

一句话总结

本文提出一种启发式算法，通过在数据源附近去中心化执行任务，优化在云环境中执行分布式任务集（BoDT）时性能与成本之间的权衡。该方法对数据传输和处理时间进行建模，利用用户定义的性能-成本偏好（通过贝塔参数表示），生成的执行计划在91%的情况下达到最优，显著优于集中式执行的性能-成本表现。

ABSTRACT

Bag of Distributed Tasks (BoDT) can benefit from decentralised execution on the Cloud. However, there is a trade-off between the performance that can be achieved by employing a large number of Cloud VMs for the tasks and the monetary constraints that are often placed by a user. The research reported in this paper is motivated towards investigating this trade-off so that an optimal plan for deploying BoDT applications on the cloud can be generated. A heuristic algorithm, which considers the user's preference of performance and cost is proposed and implemented. The feasibility of the algorithm is demonstrated by generating execution plans for a sample application. The key result is that the algorithm generates optimal execution plans for the application over 91\% of the time.

研究动机与目标

• 研究在云环境中执行分布式任务集（BoDT）时性能与经济成本之间的权衡。
• 开发一种启发式算法，根据用户对性能和成本的偏好生成最优执行计划。
• 从成本和性能角度比较集中式与去中心化执行策略。
• 对地理分布的数据和网络传输时间对BoDT执行的影响进行建模。
• 通过真实世界应用场景验证所提方法的可行性和有效性。

提出的方法

• 使用数据传输时间 $ trans_{t,c} = s_t \times trans_{l_t,c} $ 和处理时间 $ comp_{t,c} = s_t \times comp $ 对任务执行进行建模，其中 $ s_t $ 为数据大小，$ trans_{l_t,c} $ 为单位传输时间，$ comp $ 为处理速度。
• 将每项任务的总执行时间定义为 $ exec_{t,c} = trans_{t,c} + comp_{t,c} $，并计算每种部署配置下所有任务的总时间。
• 引入用户偏好参数 $ \beta \in [0,1] $ 以平衡性能（最小化时间）与成本（最小化虚拟机使用量），其中 $ \beta = 0 $ 偏向成本，$ \beta = 1 $ 偏向性能。
• 应用启发式搜索，探索跨云区域的不同虚拟机部署配置，选择最符合用户 $ \beta $ 驱动偏好的计划。
• 使用一个示例BoDT应用（新闻聚合）评估算法在不同 $ \beta $ 值下的表现，并比较预测与实际最优计划。
• 比较集中式（单个虚拟机）与去中心式（在数据源附近部署多个虚拟机）执行模型，量化性能与成本的权衡。

实验结果

研究问题

• RQ1 在云环境中部署BoDT应用时，执行性能与经济成本之间的最优权衡是什么？
• RQ2 将任务执行去中心化至数据源附近，如何影响BoDT工作负载的性能与成本？
• RQ3 启发式算法在多大程度上能生成与用户定义的性能-成本偏好一致的执行计划？
• RQ4 部署配置的选择（集中式 vs. 去中心式）如何影响总执行时间和成本？
• RQ5 最优计划对用户偏好变化的敏感度如何（即 $ \beta $ 值变化时）？

主要发现

• 该启发式算法在11个测试用例中的10个成功生成了最优执行计划，成功率高达91%。
• 该算法通过根据用户偏好参数 $ \beta $ 调整部署配置，有效平衡了性能与成本，且在不同 $ \beta $ 值下性能与成本的变化具有可预测性。
• 通过将任务执行靠近数据源部署，去中心化执行显著降低了总执行时间，从而最小化了数据传输延迟。
• 模型表明，去中心化带来的性能增益显著，但代价更高，凸显了采用偏好驱动优化方法的必要性。
• 该框架清晰地展示了性能与成本之间的权衡，表明最优配置会随用户偏好的变化而改变，$ \beta $ 成为关键控制参数。
• 实验结果证实，所提出的数学模型与启发式方法对真实世界的BoDT工作负载（如新闻聚合系统）具有可行性和有效性。