[论文解读] An Efficient Real-time Data Pipeline for the CHIME Pathfinder Radio Telescope X-Engine

Andre Recnik, Kevin Bandura+6 more|arXiv (Cornell University)|Mar 20, 2015

Radio Astronomy Observations and Technology参考文献 7被引用 9

一句话总结

本文提出kotekan，一种用于CHIME Pathfinder的GPU-based X-engine的高性能软件流水线，可在256个输入下实现实时处理819 Gb/s的4+4位复数射电信号。通过利用内核旁路网络、内存池和优化的GPU内核，该系统每台服务器实现51.2 Gb/s的处理速率，并可高效扩展至N=256，使用16台服务器，实现高数据速率下的400 MHz带宽相关处理。

ABSTRACT

The CHIME Pathfinder is a new interferometric radio telescope that uses a hybrid FPGA/GPU FX correlator. The GPU-based X-engine of this correlator processes over 819 Gb/s of 4+4-bit complex astronomical data from N=256 inputs across a 400 MHz radio band. A software framework is presented to manage this real-time data flow, which allows each of 16 processing servers to handle 51.2 Gb/s of astronomical data, plus 8 Gb/s of ancillary data. Each server receives data in the form of UDP packets from an FPGA F-engine over the eight 10 GbE links, combines data from these packets into large (32MB-256MB) buffered frames, and transfers them to multiple GPU co-processors for correlation. The results from the GPUs are combined and normalized, then transmitted to a collection server, where they are merged into a single file. Aggressive optimizations enable each server to handle this high rate of data; allowing the efficient correlation of 25 MHz of radio bandwidth per server. The solution scales well to larger values of N by adding additional servers.

研究动机与目标

• 设计一种可扩展的实时软件流水线，用于CHIME Pathfinder混合FPGA/GPU FX相关器中的高带宽数据处理。
• 最大化每台CPU和服务器的输入数据带宽，以降低系统成本，同时保持实时性能。
• 实现对来自256个输入的819 Gb/s 4+4位复数数据的高效处理，分布于16台处理服务器。
• 支持未来扩展至N=2048个输入，且架构改动最小。
• 确保在数据采集流水线中具备故障容错能力和动态服务器重连功能。

提出的方法

• 系统使用名为kotekan的C语言软件流水线，基于通用缓冲对象，作为FIFO环形缓冲区，实现组件间线程安全的数据流。
• 数据通过八个10 GbE链路以UDP数据包形式接收，合并为大尺寸（32MB–256MB）的缓冲帧，并通过内核旁路网络和DMA优化的内存传输方式传送到GPU协处理器。
• 每台服务器使用16块GPU（AMD R9 280X和R9 270X）处理每块GPU 3–4路数据流，GPU内核针对4位复数数据进行了优化。
• 内存管理采用预分配内存池，避免运行时动态调用malloc/free，从而提升性能并降低延迟。
• 流水线采用多线程机制：网络处理、GPU处理、GPU回调、后处理和输出线程，所有线程通过缓冲对象同步。
• 输出数据经合并、归一化后，通过TCP传输至中央收集服务器，使用HDF5格式进行存储，序列号和流ID确保时间与频率对齐正确。

实验结果

研究问题

• RQ1 如何在通用硬件上高效实现大规模射电干涉仪的实时、高带宽数据流水线？
• RQ2 为实现每台服务器51.2 Gb/s的处理速率且CPU开销最小，需要哪些软件和系统级优化？
• RQ3 在多GPU、多流环境中，如何优化GPU内存访问和数据传输，以最小化延迟并最大化吞吐量？
• RQ4 系统能否在架构改动最小的情况下，从N=16扩展至N=256输入并保持实时性能？
• RQ5 在分布式实时数据流水线中，如何实现故障容错和动态服务器重连？

主要发现

• 系统在16台服务器上实现总数据处理速率819.2 Gb/s，处理来自256个输入的819 Gb/s 4位天体信号。
• 每台服务器处理51.2 Gb/s天文数据和8 Gb/s辅助数据，峰值包速率达每秒1250万包。
• 流水线在单路服务器上稳定维持51.2 Gb/s处理速率，支持N=256输入下的完整400 MHz带宽相关处理。
• 系统从N=16扩展至N=256时表现出高效可扩展性，未来计划扩展至N=2048以支持完整的CHIME实验。
• 使用内存池和内核旁路网络避免了运行时动态内存分配，提升了稳定性和性能。
• 系统支持故障容错：故障服务器可修复并重新连接，数据采集不中断，受影响的频段在重连后可恢复。