[论文解读] A Distributed Agent Based System to Control and Coordinate Large Scale Data Transfers

Ciprian Dobre, Ramiro Voicu+2 more|arXiv (Cornell University)|Jun 25, 2011

Distributed systems and fault tolerance参考文献 1被引用 8

一句话总结

本文提出 LISA，一种轻量级、分布式的基于代理的系统，用于在广域网中监控、配置和协调大规模数据传输。作为 MonALISA 框架的一部分构建，LISA 通过本地和全局决策机制实现数据传输的动态优化，在 Supercomputing 2006 带宽挑战赛中成功协调了数百台服务器使用高能物理工作负载的快速数据传输（FDT）应用。

ABSTRACT

We present a distributed agent based system used to monitor, configure and control complex, large scale data transfers in the Wide Area Network. The Localhost Information Service Agent (LISA) is a lightweight dynamic service that provides complete system and applications monitoring, is capable to dynamically configure system parameters and can help in optimizing distributed applications. As part of the MonALISA (Monitoring Agents in A Large Integrated Services Architecture) system, LISA is an end host agent capable to collect any type of monitoring information, to distribute them, and to take actions based on local or global decision units. The system has been used for the Bandwidth Challenge at Supercomputing 2006 to coordinate global large scale data transfers using Fast Data Transfer (FDT) application between hundreds of servers distributed on major Grid sites involved in processing High Energy Physics data for the future Large Hadron Collider experiments.

研究动机与目标

• 解决在广域网中协调地理分布系统之间复杂大规模数据传输的挑战。
• 在数据传输过程中实现系统参数的动态配置与优化，以提高效率和可靠性。
• 开发一种轻量级、可扩展的代理架构，能够在分布式计算环境中实现实时监控与决策。
• 支持高能物理工作负载的大吞吐量数据传输，特别是大型强子对撞机实验。
• 证明基于代理的协调在大规模、生产级数据传输场景中的可行性。

提出的方法

• LISA 作为终端主机代理部署在每个参与服务器上，能够收集系统级和应用级监控数据。
• 系统采用分布式架构，代理通过集中式监控基础设施通信，共享状态并协调操作。
• LISA 支持根据实时网络和系统状态动态重新配置传输参数。
• 它与 MonALISA 框架集成，以实现在多个站点之间的本地决策与全局协调。
• 系统利用快速数据传输（FDT）应用，实现在广域网中的高吞吐量数据传输。
• 代理使用事件驱动机制，基于阈值或策略规则触发操作，实现对数据流的自适应控制。

实验结果

研究问题

• RQ1 如何有效利用分布式代理系统监控并协调地理分散系统之间的大规模数据传输？
• RQ2 哪些机制能够实现在高吞吐量数据传输过程中系统参数的动态配置？
• RQ3 本地与全局决策机制的集成如何提升广域网中传输效率？
• RQ4 基于代理的系统在协调数百次并行数据传输时的可扩展性与可靠性如何？
• RQ5 此类系统能否有效支持高能物理工作负载的高要求数据传输需求？

主要发现

• LISA 在 Supercomputing 2006 带宽挑战赛期间成功协调了数百台服务器之间的大规模数据传输。
• 该系统实现了数据传输参数的动态优化，在异构网络环境中提升了吞吐量和可靠性。
• 基于代理的架构在生产规模的真实部署中表现出良好的可扩展性与适应性。
• 与 FDT 应用的集成使得在广域网中实现高吞吐量数据传输成为可能，且人工干预极少。
• MonALISA 框架实现了本地监控与全局协调，确保了跨分布式站点的一致控制。
• 该系统在真实网络条件下有效管理了复杂的大规模数据传输，验证了其在高性能计算工作负载中的设计有效性。