[논문 리뷰] Integrated Detector Control and Calibration Processing at the European XFEL

Astrid Münnich, Steffen Hauf외 8명|arXiv (Cornell University)|2016. 01. 08.

Medical Imaging Techniques and Applications참고 문헌 17인용 수 3

한 줄 요약

이 논문은 유럽 XFEL에서 X선 검출기의 통합 제어 및 캘리브레이션 프레임워크를 제안하며, 고속 데이터 수집(최대 15 GB/s)과 복잡한 검출기 아키텍처를 관리하기 위해 Karabo 제어 시스템을 활용한다. 파이썬 기반 소프트웨어와 최적화된 CUDA 및 numpy를 결합하여 실시간 캘리브레이션을 구현함으로써, LPD, DSSC 및 AGIPD 검출기에서 비선형 이득 및 메모리 셀 효과를 거의 실시간으로 보정할 수 있게 되었으며, 4.5 MHz 반복 주기에서 고정밀 영상 촬영을 보장한다.

ABSTRACT

The European X-ray Free Electron Laser is a high-intensity X-ray light source currently being constructed in the area of Hamburg, that will provide spatially coherent X-rays in the energy range between $0.25\,\mathrm{keV}$ and $25\,\mathrm{keV}$. The machine will deliver $10\,\mathrm{trains/s}$, consisting of up to $2700\,\mathrm{pulses}$, with a $4.5\,\mathrm{MHz}$ repetition rate. The LPD, DSSC and AGIPD detectors are being developed to provide high dynamic-range Mpixel imaging capabilities at the mentioned repetition rates. A consequence of these detector characteristics is that they generate raw data volumes of up to $15\,\mathrm{Gbyte/s}$. In addition the detector's on-sensor memory-cell and multi-/non-linear gain architectures pose unique challenges in data correction and calibration, requiring online access to operating conditions and control settings. We present how these challenges are addressed within XFEL's control and analysis framework Karabo, which integrates access to hardware conditions, acquisition settings (also using macros) and distributed computing. Implementation of control and calibration software is mainly in Python, using self-optimizing (py) CUDA code, numpy and iPython parallels to achieve near-real time performance for calibration application.

연구 동기 및 목표

• 유럽 XFEL에서 고반복 주기 X선 검출기로부터 발생하는 막대한 데이터 속도(최대 15 GB/s)를 관리하는 데 도전하는 것.
• 복잡한 센서 내부 메모리와 비선형 이득 구조를 가진 검출기의 실시간 제어 및 캘리브레이션을 위한 통합 시스템을 개발하는 것.
• 하드웨어 상태, 수집 설정 및 분산 컴퓨팅을 하나의 프레임워크 안에 통합하여 정확한 데이터 보정을 보장하는 것.
• 4.5 MHz에서 작동하는 Mpixel 검출기의 계산 부담에도 불구하고 실시간에 가까운 성능을 달성하는 것.

제안 방법

• Karabo 제어 및 데이터 수집 프레임워크 내에서 검출기 제어 및 캘리브레이션을 통합하는 것.
• 고성능 데이터 처리를 위해 파이썬과 자가 최적화 CUDA 커널을 사용하는 것.
• numpy와 iPython의 병렬 처리를 활용하여 캘리브레이션 계산을 가속화하는 것.
• 실시간 적응을 위해 하드웨어 상태 및 수집 매크로에 동적 접근하는 것.
• 다중 수준 및 비선형 이득 반응을 보정하는 캘리브레이션 파이프라인을 구현하는 것.
• Karabo의 분산 컴퓨팅 기능을 활용해 처리 작업을 컴퓨팅 자원에 분배하는 것.

실험 결과

연구 질문

• RQ1 최대 15 GB/s의 원시 데이터를 생성하는 시스템에서 검출기 제어 및 캘리브레이션을 효율적으로 통합할 수 있는 방법은 무엇인가요?
• RQ2 고속 X선 검출기에서 비선형 이득 및 메모리 셀 효과를 실시간으로 보정할 수 있는 계산 아키텍처는 무엇인가요?
• RQ3 캘리브레이션 중에 하드웨어 상태 및 수집 파rameter를 어떻게 동적으로 접근하고 활용할 수 있나요?
• RQ4 극도의 데이터 속도와 복잡한 검출기 물리적 특성 하에서 통합 프레임워크가 데이터 무결성을 유지하는 데 어떤 역할을 하나요?
• RQ5 고성능 언어인 파이썬 기반 소프트웨어가 고처리량 X선 시설에서 실시간에 가까운 캘리브레이션 성능을 달성할 수 있는 방법은 무엇인가요?

주요 결과

• 시스템은 유럽 XFEL의 Mpixel 검출기로부터 최대 15 GB/s의 원시 데이터 속도를 성공적으로 처리한다.
• 최적화된 파이썬 및 CUDA 코드 덕분에 거의 실시간 캘리브레이션이 달성되어 비선형 이득 및 메모리 효과를 적시에 보정할 수 있다.
• Karabo 프레임워크 덕분에 하드웨어 상태, 수집 설정 및 분산 컴퓨팅이 캘리브레이션에 원활하게 통합된다.
• 매크로 및 동적 파rameter 접근 기능 덕분에 변화하는 검출기 조건에 실시간으로 적응할 수 있다.
• 고수준 언어인 파이썬을 저수준 최적화와 결합함으로써 고성능 캘리브레이션의 구현 가능성을 입증한다.
• 프레임워크는 4.5 MHz 반복 주기에서 높은 동적 범위를 가진 LPD, DSSC 및 AGIPD 검출기의 신뢰할 수 있는 운영을 지원한다.