[论文解读] From Facility to Application Sensor Data: Modular, Continuous and Holistic Monitoring with DCDB

Alessio Netti, Micha Mueller+5 more|arXiv (Cornell University)|Jun 18, 2019

Advanced Data Storage Technologies参考文献 32被引用 9

一句话总结

DCDB 是一种模块化、可扩展且可伸缩的 HPC 系统监控框架，它将设施、系统、运行时和应用层传感器数据统一整合到一个分布式 NoSQL 存储中。该框架实现了低开销的端到端持续监控，已在生产级 HPC 系统上成功部署，并应用于能效管理和系统特性分析等用例。

ABSTRACT

Today's HPC installations are highly-complex systems, and their complexity will only increase as we move to exascale and beyond. At each layer, from facilities to systems, from runtimes to applications, a wide range of tuning decisions must be made in order to achieve efficient operation. This, however, requires systematic and continuous monitoring of system and user data. While many insular solutions exist, a system for holistic and facility-wide monitoring is still lacking in the current HPC ecosystem. In this paper we introduce DCDB, a comprehensive monitoring system capable of integrating data from all system levels. It is designed as a modular and highly-scalable framework based on a plugin infrastructure. All monitored data is aggregated at a distributed noSQL data store for analysis and cross-system correlation. We demonstrate the performance and scalability of DCDB, and describe two use cases in the area of energy management and characterization.

研究动机与目标

• 解决 HPC 系统中缺乏端到端、设施级监控的问题，整合来自所有层级（设施、系统、运行时和应用）的数据。
• 克服仅关注特定层级（如基础设施或应用级指标）的孤立监控工具的局限性。
• 提供一个统一、可扩展且可伸缩的框架，支持持续数据采集与跨层级关联，以实现系统优化。
• 在异构架构和动态调优机制并存的多样化 HPC 环境中，实现高效、低开销的监控。
• 通过将多种数据源统一到单一可分析的数据存储中，支持能效管理等高级用例和性能特征分析。

提出的方法

• 设计基于插件的架构，以实现跨所有系统层级的多样化数据源的模块化集成。
• 使用分布式、分层的 NoSQL 数据存储，以高可扩展性聚合并持久化来自所有源的监控数据。
• 采用基于 MQTT 的通信机制，实现松耦合和跨作业边界的无缝部署，确保持续的数据摄入。
• 实现轻量级数据采集代理（Collect Agents）和 Pusher 组件，高效地将数据转发至中央存储。
• 通过可扩展的插件支持标准 HPC 监控协议和接口（例如性能计数器、功耗计、应用性能分析）。
• 通过 RESTful API 和传感器缓存机制，支持实时访问，并为未来流式分析工作负载提供支持。

实验结果

研究问题

• RQ1 如何设计一个统一的监控框架，以整合 HPC 堆栈所有层级（设施、系统、运行时和应用）的异构传感器数据？
• RQ2 哪些架构模式能够实现在大规模 HPC 环境中低开销、持续且可扩展的监控？
• RQ3 基于插件的系统如何支持在多样化 HPC 部署和不断演进的监控需求下的可扩展性和适应性？
• RQ4 此类框架在真实世界 HPC 生产系统中的性能和可扩展性特征如何？
• RQ5 如何利用端到端监控数据支持高级用例，如能效优化和异常检测？

主要发现

• DCDB 实现了极低的性能开销，基准评估显示其性能与现有最先进的监控解决方案相当。
• 该框架已在莱布尼茨超级计算中心的多个生产级 HPC 系统中成功部署，证明了其真实世界中的可扩展性和稳定性。
• DCDB 通过统一设施传感器、系统硬件、运行时指标和应用级性能计数器的数据，实现了跨层级关联。
• 基于插件的架构支持新数据源的无缝集成，包括未来对 GPU 性能事件和应用性能分析数据的支持。
• 通过计划中的分析层，该框架支持未来与流式分析的集成，该层将复用现有组件（如 REST API 和传感器缓存）。
• DCDB 的设计支持持续监控而无需数据过滤，完整保留原始指标的保真度，以支持详细分析和优化。