[论文解读] End-to-end data acquisition pipeline for the Cherenkov Telescope Array

E. Lyard, Walter, R.|arXiv (Cornell University)|Jan 1, 2017

Astrophysics and Cosmic Phenomena参考文献 7被引用 1

一句话总结

本文提出了一种用于切伦科夫望远镜阵列（CTA）的端到端数据采集（DAQ）流水线，将来自多种望远镜的异构原始数据统一为一种通用的预校准格式。该系统使用ZeroMQ和协议缓冲区在模块化组件之间流式传输数据——每台望远镜最高支持43 Gbps的数据吞吐量——同时通过ZFITS实现实时分析、压缩和本地存储，采用自定义压缩方案，最高实现18 Gbps的吞吐量，且内存管理经过优化。

ABSTRACT

The Cherenkov Telescope Array (CTA) will operate several types of telescopes and cameras. The individual camera trigger rates will vary much - from 0.6 to 15 kHz - while the content of the raw data will be heterogeneous. Raw data streams of up to 43 Gbps per telescope must be handled efficiently, from the camera front-ends down to the on-site repository and real-time analysis. In addition, the system must transcode all raw data to a common, pre-calibrated format. We will present the pipeline that we propose to implement this data acquisition pipeline. It will format the raw data to a common structure, provide facilities to run camera-specific algorithms and compress and write data to the on-site repository. We will also present the Python interface that allows the analysis pipeline to access the data. Eventually, the two strategies foreseen to interface the camera servers will be detailed and the current status of the developments for CTA will be given, with the last performance figures measured.

研究动机与目标

• 解决切伦科夫望远镜阵列（CTA）中来自多种望远镜类型的高带宽、高度异构数据流（最高达43 Gbps）的处理挑战。
• 将来自不同相机系统的原始数据统一为单一的预校准数据格式，以实现一致的处理与分析。
• 在分布式计算节点上实现每秒30至50 kHz的触发率下，实时提取事件参数并进行阵列级事件构建。
• 开发一种灵活、模块化的DAQ流水线，支持原生和桥接相机服务器接口，以实现向后兼容性和性能优化。
• 通过集成一个存储库写入器，实现高效、无损的数据存储，该写入器对数据应用压缩并写入本地ZFITS存储库，支持自定义压缩方案。

提出的方法

• 使用Alma通用软件（ACS）框架实现模块化DAQ流水线，包含相机读出、参数提取、阵列事件构建和存储库写入等组件。
• 采用ZeroMQ（ZMQ）在流水线模块之间实现高性能、异步消息传递，支持负载均衡和分布式处理。
• 使用Google协议缓冲区对数据结构进行序列化和跨组件传输，统一数据格式，减少数据复制，提升性能。
• 通过两种接口模式集成相机特定数据：原生模式（直接使用API）和桥接模式（通过独立桥接组件进行格式转换）。
• 通过允许相机服务器直接分配协议缓冲区内存来优化内存使用，消除中间数据复制，提升吞吐量。
• 实现基于ZFITS的存储库写入器，对原始事件应用可定制压缩（如LZO、Rice、Huffman），并写入本地存储。

实验结果

研究问题

• RQ1 如何在数据速率和结构差异巨大的异构切伦科夫相机系统之间高效建立统一的数据格式？
• RQ2 何种系统架构能够实现实时处理每台望远镜高达43 Gbps的原始数据流，同时保持低延迟和高可靠性？
• RQ3 在内存受限环境中，消除数据流水线中的中间数据复制可带来多大的性能提升？
• RQ4 在长期CTA数据存储中，各种压缩方案在数据压缩率与处理开销之间的平衡效果如何？
• RQ5 所提出的DAQ流水线能否扩展以支持CTA阵列预期的30–50 kHz阵列级触发率，并实现负载均衡的事件构建？

主要发现

• 原生接口通过使用两个并行的10 Gbps流，实现了最高18 Gbps的吞吐量，每流仅消耗1.5个CPU核心，表现出极高效率。
• 桥接接口在将FlashCam原生格式转换为统一格式时，每流最高达到7 Gbps，验证了格式转换的可行性。
• 初步测试显示，增加更多10 Gbps接口时性能呈非线性增长，表明存在资源争用或内存访问瓶颈。
• 使用C++-Python接口通过协议缓冲区实现的原型ZFITS读取器，总处理时间仅增加3%的开销，证明其在早期分析中的有效性。
• 压缩实验表明，按列特定的压缩方法（如对每种数据类型使用不同算法）在压缩率与速度之间提供了最佳平衡，特定方案优于通用方案。
• 基于ACS和ZMQ的流水线模块化设计支持动态负载均衡，可扩展至处理超过当前基准的数据速率，有待进一步优化。