[论文解读] Monitoring Extreme-scale Lustre Toolkit

Michael J. Brim, Joshua K. Lothian|arXiv (Cornell University)|Apr 26, 2015

Scientific Computing and Data Management参考文献 1被引用 4

一句话总结

监控超大规模Lustre工具包（MELT）是一个统一的、低开销的性能监控与分析框架，专为大规模Lustre文件系统设计，利用分布式叠加网络实现客户端与服务器节点之间的跨域监控。它提供实时的健康状态与性能摘要，支持多级诊断的交互式命令行工具，并为常见性能问题的根本原因分析提供未来自动化支持。

ABSTRACT

We discuss the design and ongoing development of the Monitoring Extreme-scale Lustre Toolkit (MELT), a unified Lustre performance monitoring and analysis infrastructure that provides continuous, low-overhead summary information on the health and performance of Lustre, as well as on-demand, in- depth problem diagnosis and root-cause analysis. The MELT infrastructure leverages a distributed overlay network to enable monitoring of center-wide Lustre filesystems where clients are located across many network domains. We preview interactive command-line utilities that help administrators and users to observe Lustre performance at various levels of resolution, from individual servers or clients to whole filesystems, including job-level reporting. Finally, we discuss our future plans for automating the root-cause analysis of common Lustre performance problems.

研究动机与目标

• 为解决在极端规模HPC环境中使用的超大规模、多域Lustre文件系统中监控与诊断性能问题的挑战。
• 设计一个统一的基础设施，实现对整个文件系统、服务器和客户端的持续、低开销性能监控。
• 支持从单个组件到作业级别的多种粒度的交互式、按需诊断。
• 为未来实现Lustre常见性能问题的自动化根本原因分析奠定基础。

提出的方法

• MELT框架利用分布式叠加网络，在多个网络域之间收集并关联性能指标，确保在地理上或管理上分隔的HPC中心中具备端到端可见性。
• 与现有Lustre监控工具集成，以最小的运行时开销聚合并汇总性能数据。
• 提供交互式命令行实用程序，使管理员和用户能够按不同抽象层次查询性能，从单个客户端到整个文件系统。
• 通过关联性能数据与作业执行元数据，支持作业级别的报告功能。
• 架构设计支持扩展到极端规模部署，通过将数据采集与分析解耦，并支持分布式数据处理来实现。
• 未来扩展将集成自动化诊断流水线，用于识别常见故障模式并提出修复建议。

实验结果

研究问题

• RQ1 在极端规模HPC环境中，如何有效扩展对大规模、多域Lustre文件系统的性能监控？
• RQ2 哪些架构模式能够实现对Lustre组件的低开销、持续监控，同时不降低系统性能？
• RQ3 如何为系统管理员和最终用户统一提供多粒度的诊断能力？
• RQ4 哪些机制能够实现对Lustre中常见性能瓶颈的有效根本原因分析？
• RQ5 如何将自动化诊断集成到Lustre的生产监控堆栈中？

主要发现

• MELT 成功利用分布式叠加网络，在多个网络域之间实现了对整个中心范围Lustre文件系统的持续、低开销监控。
• 该工具包提供了交互式命令行实用程序，支持从单个客户端到整个文件系统的细粒度实时性能观察。
• 支持作业级别的性能报告，能够将I/O行为与应用程序执行进行关联分析。
• 系统在未来的版本中展示了集成常见性能问题自动化根本原因分析的可行性。
• 该设计具备可扩展性和可扩展性，适用于在极端规模HPC环境中部署。