[论文解读] Integrated Detector Control and Calibration Processing at the European XFEL

Astrid Münnich, Steffen Hauf+8 more|arXiv (Cornell University)|Jan 8, 2016

Medical Imaging Techniques and Applications参考文献 17被引用 3

一句话总结

本文提出了一种用于欧洲X射线自由电子激光装置（European XFEL）X射线探测器的集成控制与校准框架，利用Karabo控制系统管理高达15 GB/s的高速数据采集及复杂的探测器架构。通过结合基于Python的软件与经过优化的CUDA和numpy实现，该框架可实现实时校准，对LPD、DSSC和AGIPD探测器中的非线性增益和存储单元效应进行近实时校正，确保在4.5 MHz重复频率下实现高保真成像。

ABSTRACT

The European X-ray Free Electron Laser is a high-intensity X-ray light source currently being constructed in the area of Hamburg, that will provide spatially coherent X-rays in the energy range between $0.25\,\mathrm{keV}$ and $25\,\mathrm{keV}$. The machine will deliver $10\,\mathrm{trains/s}$, consisting of up to $2700\,\mathrm{pulses}$, with a $4.5\,\mathrm{MHz}$ repetition rate. The LPD, DSSC and AGIPD detectors are being developed to provide high dynamic-range Mpixel imaging capabilities at the mentioned repetition rates. A consequence of these detector characteristics is that they generate raw data volumes of up to $15\,\mathrm{Gbyte/s}$. In addition the detector's on-sensor memory-cell and multi-/non-linear gain architectures pose unique challenges in data correction and calibration, requiring online access to operating conditions and control settings. We present how these challenges are addressed within XFEL's control and analysis framework Karabo, which integrates access to hardware conditions, acquisition settings (also using macros) and distributed computing. Implementation of control and calibration software is mainly in Python, using self-optimizing (py) CUDA code, numpy and iPython parallels to achieve near-real time performance for calibration application.

研究动机与目标

• 解决在欧洲XFEL的高重复频率X射线探测器中管理高达15 GB/s数据速率的挑战。
• 开发一种统一系统，用于具有复杂片上存储和非线性增益架构的探测器的实时控制与校准。
• 通过在单一框架内集成硬件状态、采集设置和分布式计算，确保数据校正的准确性。
• 尽管M像素探测器在4.5 MHz频率下运行带来巨大的计算负载，仍实现近实时性能的校准处理。

提出的方法

• 将探测器控制与校准集成到Karabo控制系统和数据采集框架中。
• 使用Python结合自优化的CUDA内核实现高性能数据处理。
• 利用numpy和iPython并行化技术加速校准计算。
• 实现对硬件状态和采集宏的动态访问，以支持实时适应。
• 实施校准流水线，以校正多级和非线性增益响应。
• 利用Karabo的分布式计算能力，将处理任务分发到计算资源上。

实验结果

研究问题

• RQ1 如何在每秒生成高达15 GB原始数据的系统中高效集成探测器控制与校准？
• RQ2 何种计算架构能够实现实时校正高速X射线探测器中的非线性增益和存储单元效应？
• RQ3 如何在校准过程中动态访问并利用硬件状态和采集参数？
• RQ4 统一框架在极端数据速率和复杂探测器物理条件下对保持数据保真度起到何种作用？
• RQ5 基于Python的软件如何在高吞吐量X射线设施中实现近实时校准性能？

主要发现

• 该系统成功处理了来自欧洲XFEL中M像素探测器的高达15 GB/s的原始数据速率。
• 通过优化的Python和CUDA代码，实现了近实时校准，能够及时校正非线性增益和存储单元效应。
• Karabo框架实现了硬件状态、采集设置和分布式计算在校准中的无缝集成。
• 通过使用宏和动态参数访问，实现了对探测器状态变化的实时适应。
• 该实现表明，当与底层优化结合时，使用高级语言如Python可实现高性能校准。
• 该框架支持LPD、DSSC和AGIPD探测器在4.5 MHz重复频率下可靠运行，并具备高动态范围。