[论文解读] A monitoring tool for a GRID operation center

Sergio Andreozzi, S. Fantinel+3 more|ArXiv.org|Jun 3, 2003

Distributed and Parallel Computing Systems被引用 4

一句话总结

本文介绍了EDT-Monitor，一种基于Nagios的监控工具，专为世界GRID跨洲网格测试床开发，通过动态地理地图实现以虚拟组织为中心的监控。该工具可实时检测资源代理故障、站点配置错误及作业分发失败等问题，增强网格运行中心的能力，提升大规模高能物理工作负载下的系统可靠性与操作响应速度。

ABSTRACT

WorldGRID is an intercontinental testbed spanning Europe and the US integrating architecturally different Grid implementations based on the Globus toolkit. The WorldGRID testbed has been successfully demonstrated during the WorldGRID demos at SuperComputing 2002 (Baltimore) and IST2002 (Copenhagen) where real HEP application jobs were transparently submitted from US and Europe using "native" mechanisms and run where resources were available, independently of their location. To monitor the behavior and performance of such testbed and spot problems as soon as they arise, DataTAG has developed the EDT-Monitor tool based on the Nagios package that allows for Virtual Organization centric views of the Grid through dynamic geographical maps. The tool has been used to spot several problems during the WorldGRID operations, such as malfunctioning Resource Brokers or Information Servers, sites not correctly configured, job dispatching problems, etc. In this paper we give an overview of the package, its features and scalability solutions and we report on the experience acquired and the benefit that a GRID operation center would gain from such a tool.

研究动机与目标

• 解决在具有异构组件的地理分布复杂的网格基础设施中进行监控的挑战。
• 提供对跨多个大洲的网格资源健康状况和性能的实时可视性。
• 通过支持以虚拟组织（VO）为中心的监控，简化大规模网格部署中的操作监督。
• 在生产运行期间主动检测并报告基础设施问题（如代理失败或配置错误的站点），以提升系统稳定性。
• 通过自动化的集中监控，提升网格运行中心的可扩展性与可维护性。

提出的方法

• EDT-Monitor工具基于Nagios开源监控框架构建，以利用其成熟的用于服务和主机监控的基础设施。
• 与基于Globus Toolkit的网格组件（包括资源代理和信息服务器）集成，以收集实时状态数据。
• 生成动态地理地图，可视化欧洲和美国网格站点的运行状态，支持故障的空间关联分析。
• 支持以虚拟组织（VO）为中心的视图，使管理员能够根据VO成员身份和作业提交模式监控资源。
• 系统采用事件驱动的警报机制与状态聚合技术，可扩展至数百个分布式的网格站点和服务。
• 支持将监控数据与实际作业执行行为相关联，如作业分发延迟或资源不可用等问题。

实验结果

研究问题

• RQ1 如何使监控系统在地理分布广泛、异构的基础设施中，有效支持实时、大规模的网格操作？
• RQ2 在多域网格环境中，哪些机制能够实现以虚拟组织为中心的监控？
• RQ3 动态地理可视化如何提升网格运行中心在故障检测与响应方面的能力？
• RQ4 生产级网格测试床中的监控工具需要具备哪些可扩展性与可靠性特性？
• RQ5 监控工具如何在影响作业执行之前，检测并报告如代理故障或配置错误站点等基础设施问题？

主要发现

• 在WorldGRID演示期间，EDT-Monitor成功检测并报告了多个运行问题，包括故障的资源代理和配置错误的站点。
• 该工具实现了对作业分发问题的实时识别，显著缩短了网格基础设施故障的平均检测时间。
• 动态地理地图提供了直观、空间感知的网格状态可视化，提升了运行中心人员的情境感知能力。
• 与Nagios的集成确保了对数百个网格组件的稳健、可扩展监控，且性能开销极低。
• 以VO为中心的监控模式使管理员能够基于组织边界隔离并排查问题，显著提升了操作效率。
• 该工具在SuperComputing 2002和IST2002等重大活动期间展现出实际应用价值，证实了其在真实网格运行环境中的有效性。