[论文解读] Monitoring, Analyzing, and Controlling Internet-scale Systems with ACME

David Oppenheimer, Vitaliy Vatkovskiy+4 more|ArXiv.org|Aug 14, 2004

Peer-to-Peer Network Technologies参考文献 31被引用 9

一句话总结

ACME 是一种可扩展的基础设施，用于监控、分析和控制大规模互联网系统，由 ISING（用于网络内传感器数据聚合）和 ENTRIE（用于事件驱动的执行操作）组成。通过网络内聚合，它将端到端查询延迟降低了 50% 以上，并在四秒内触发执行器，展示了其在基准测试和异常检测场景中的有效性。

ABSTRACT

Analyzing and controlling large distributed services under a wide range of conditions is difficult. Yet these capabilities are essential to a number of important development and operational tasks such as benchmarking, testing, and system management. To facilitate these tasks, we have built the Application Control and Monitoring Environment (ACME), a scalable, flexible infrastructure for monitoring, analyzing, and controlling Internet-scale systems. ACME consists of two parts. ISING, the Internet Sensor In-Network agGregator, queries sensors and aggregates the results as they are routed through an overlay network. ENTRIE, the ENgine for TRiggering Internet Events, uses the data streams supplied by ISING, in combination with a user's XML configuration file, to trigger actuators such as killing processes during a robustness benchmark or paging a system administrator when predefined anomalous conditions are observed. In this paper we describe the design, implementation, and evaluation of ACME and its constituent parts. We find that for a 512-node system running atop an emulated Internet topology, ISING's use of in-network aggregation can reduce end-to-end query-response latency by more than 50% compared to using either direct network connections or the same overlay network without aggregation. We also find that an untuned implementation of ACME can invoke an actuator on one or all nodes in response to a discrete or aggregate event in less than four seconds, and we illustrate ACME's applicability to concrete benchmarking and monitoring scenarios.

研究动机与目标

• 解决在不同运行条件下监控和控制大规模分布式系统的困难。
• 设计一种支持大规模互联网环境中灵活基准测试、系统测试和系统管理的系统。
• 降低传感器数据采集中分布式查询处理的端到端延迟。
• 通过自动执行机制实现实时响应系统事件。
• 在模拟的大规模拓扑中评估所提出架构的可扩展性和性能。

提出的方法

• ISING 使用覆盖网络来路由传感器查询并执行网络内聚合，最大限度减少数据传输和延迟。
• 传感器数据在穿越覆盖网络时被收集并聚合，从而减少冗余数据传输。
• ENTRIE 从 ISING 消费数据流，并解析用户定义的 XML 配置文件以检测条件并触发操作。
• 根据预定义的事件触发器，调用执行器，如终止进程或通知系统管理员。
• 该系统支持基于节点的事件检测和全局事件检测，实现细粒度或大规模控制。
• 通过 512 个节点的模拟互联网拓扑对架构进行评估，以测量延迟和响应时间。

实验结果

研究问题

• RQ1 网络内聚合如何降低大规模分布式监控系统中的端到端延迟？
• RQ2 在模拟的大规模互联网环境中部署可扩展的监控与控制基础设施的性能开销是多少？
• RQ3 系统是否能在实际时间窗口内对系统事件触发执行器？
• RQ4 该系统在支持基准测试和异常检测工作负载方面的有效性如何？
• RQ5 ACME 架构在不同系统负载和拓扑下的可扩展性如何？

主要发现

• 在 512 个节点的系统中，ISING 相较于直接网络连接或非聚合覆盖网络，将端到端查询-响应延迟降低了 50% 以上。
• 未经调优的 ACME 实现可以在四秒内对单个或所有节点上的离散或聚合事件触发执行器。
• 该系统通过在阈值超过时自动终止进程，成功支持了鲁棒性基准测试。
• 网络内聚合的使用显著减少了网络带宽使用，并提升了大规模部署中的可扩展性。
• ACME 在实际监控与控制场景中表现出实际适用性，包括系统异常检测和自动响应。
• 该架构在模拟的互联网拓扑中表现出良好的可扩展性，能够支持复杂的监控与控制工作负载。