[论文解读] Monitoring Large-Scale Cloud Systems with Layered Gossip Protocols

Jonathan S. Ward, Adam Barker|arXiv (Cornell University)|May 31, 2013

Peer-to-Peer Network Technologies参考文献 2被引用 4

一句话总结

本文提出一种去中心化的分层gossip协议，用于大规模云系统的可扩展监控，无需依赖集中式监控基础设施。通过根据工作负载相似性将虚拟机组织为分层组，并使用高效、局部化的gossip通信，该系统实现了低延迟、容错的监控，消息数量仅比集中式系统多74%，在高带宽云环境中完全可行。

ABSTRACT

Monitoring is an essential aspect of maintaining and developing computer systems that increases in difficulty proportional to the size of the system. The need for robust monitoring tools has become more evident with the advent of cloud computing. Infrastructure as a Service (IaaS) clouds allow end users to deploy vast numbers of virtual machines as part of dynamic and transient architectures. Current monitoring solutions, including many of those in the open-source domain rely on outdated concepts including manual deployment and configuration, centralised data collection and adapt poorly to membership churn. In this paper we propose the development of a cloud monitoring suite to provide scalable and robust lookup, data collection and analysis services for large-scale cloud systems. In lieu of centrally managed monitoring we propose a multi-tier architecture using a layered gossip protocol to aggregate monitoring information and facilitate lookup, information collection and the identification of redundant capacity. This allows for a resource aware data collection and storage architecture that operates over the system being monitored. This in turn enables monitoring to be done in-situ without the need for significant additional infrastructure to facilitate monitoring services. We evaluate this approach against alternative monitoring paradigms and demonstrate how our solution is well adapted to usage in a cloud-computing context.

研究动机与目标

• 解决传统集中式监控在大规模弹性云环境中面临的可扩展性和容错性挑战。
• 克服集中式数据收集的局限性，随着云系统规模扩大，其成本和延迟会显著增加。
• 通过去中心化的基于gossip的架构实现自监控，消除对专用监控基础设施的需求。
• 通过支持动态、原位监控，实现IaaS云环境中的快速弹性扩展，无需重新配置或增加额外部署开销。
• 通过跨组和云区域的分层聚合监控数据，实现对资源使用情况的全局可见性。

提出的方法

• 设计三层架构：虚拟机（叶节点）、组（具有相似虚拟机的逻辑集群）和云（地理区域），以反映云的拓扑结构。
• 使用特征向量根据软件工作负载（如Web服务器、Hadoop节点）对虚拟机进行分组，实现语义相近性，以实现高效的数据传播。
• 在组内实施周期性、按比例的gossip通信：每个虚拟机通过低延迟UDP向一组对等节点发送资源使用情况（CPU、内存、磁盘、网络）。
• 以较慢速率聚合组级别资源使用情况，并向其他组传播，以减少组间通信开销。
• 使用更慢但可靠的协议在云之间传播区域级别的聚合数据，以应对更高的延迟和带宽成本。
• 在运行时构建自组织的覆盖gossip网络，实现在无需额外基础设施或预先部署监控服务器的情况下进行监控。

实验结果

研究问题

• RQ1 去中心化的gossip协议是否能有效替代大规模弹性云系统中的集中式监控？
• RQ2 与平面gossip或集中式模型相比，分层gossip架构在降低通信开销方面效果如何？
• RQ3 在IaaS云中，不依赖专用监控基础设施，能在多大程度上实现原位监控？
• RQ4 根据工作负载相似性对虚拟机进行分组，如何提升监控效率和可扩展性？
• RQ5 在大规模云监控中，消息量与去中心化之间的权衡关系如何？

主要发现

• 分层gossip协议相比平面gossip显著降低了消息速率，实现了更可扩展、更高效的聚合模式。
• 尽管消息数量比集中式系统最多多出74%，但在高带宽、低延迟的云环境中，通信开销仍然可行。
• 分层设计实现了组内高效、局部化的数据传播，同时最大限度减少了组间和跨云通信。
• 系统实现了完全去中心化，消除了单点故障，降低了对外部监控基础设施的依赖。
• 该架构通过支持自监控和在虚拟机部署或退役时最小化重新配置，适应了动态、弹性的云环境。
• 该方法通过区域级别的汇总数据实现了对资源使用的全局可见性，为高级监控和分析奠定了基础。