[논문 리뷰] Machine Learning for Real-Time Processing of ATLAS Liquid Argon Calorimeter Signals with FPGAs

N. Chiedde|arXiv (Cornell University)|2021. 11. 16.

Particle Detector Development and Performance참고 문헌 7인용 수 5

한 줄 요약

이 논문은 HL-LHC 시대의 ATLAS 액체 헬륨 캘로리미터에서 에너지 재구성 성능을 향상시키기 위해 현장 프로그래머블 게이트 어레이(FPGA)에서 실시간 기계학습(ML)을 구현한 것으로, 컨volutional 신경망과 순환 신경망(CNN/RNN)을 활용한다. 40 MHz 디지털 신호를 150 ns 이내의 지연으로 처리함으로써, 기존의 최적 필터링 기법보다 뛰어난 성능을 보이며, >90%의 탐지 효율과 훨씬 뛰어난 에너지 해상도를 확보한다. 특히 200개의 상호작용까지 발생하는 높은 피로드 조건에서 기존 방법이 성능을 떨어뜨리는 상황에서도 유의미한 성능 향상을 이룬다.

ABSTRACT

The ATLAS experiment at CERN measures energy of proton-proton (p-p) collisions with a repetition frequency of 40 MHz at the Large Hadron Collider (LHC). The readout electronics of liquid-argon (LAr) calorimeters are being prepared for high luminosity-LHC (HL-LHC) operation as part of the phase-II upgrade, anticipating a pileup of up to 200 simultaneous p-p interactions. The increase of the number of p-p interactions implies that calorimeter signals of up to 25 consecutive collisions overlap, making energy reconstruction more challenging. In order to achieve the goal of the HL-HLC, field-programmable gate arrays (FPGAs) are used to process digitized pulses sampled at 40 MHz in real time and different machine learning approaches are being investigated to deal with signal pileup. The convolutional and recurrent neural networks outperform the optimal signal filter currently in use, both in terms of assigning the reconstructed energy to the correct proton bunch crossing and in terms of energy resolution. The enhancements are focused on energy obtained from overlapping pulses. Because the neural networks are implemented on an FPGA, the number of parameters, resource usage, latency and operation frequency must be carefully analysed. A very good agreement is observed between neural network implementations in FPGA and software.

연구 동기 및 목표

• HL-LHC에서 최대 200개의 동시 proton-proton 충돌로 인한 신호 피로드로 인해 ATLAS 액체 헬륨 캘로리미터의 에너지 해상도가 떨어지는 문제를 해결한다.
• 36,000개의 광섬유에서 발생하는 250 Tbps 데이터 대역폭을 처리하기 위해 FPGA를 활용한 실시간, 저지연 신호 처리 솔루션을 개발한다.
• 모의 HL-LHC 데이터를 기반으로 훈련된 딥 러닝 모델을 활용해 현재의 최적 필터(OF)를 초월한 에너지 재구성 정확도를 향상시킨다.
• 실시간 트리거 호환성을 확보하기 위해 자원 효율적이며, 지연 시간(<150 ns)과 주파수(>480 MHz) 제약 조건을 충족하는 FPGA 구현을 보장한다.

제안 방법

• 노이즈와 피로드가 포함된 모의 HL-LHC 데이터를 사용해 Keras와 Tensorflow로 3-Conv 및 4-Conv CNN을 훈련시키며, 네트워크를 펄스 태깅 하위망과 에너지 재구성 하위망으로 분할한다.
• 이중 단계 CNN 아키텍처를 구현한다: 먼저 3 또는 4층의 컨볼루션 네트워크가 240 MeV 이상의 에너지 분포를 탐지하고, 그 다음 태깅된 입력과 원본 입력을 사용해 에너지를 재구성한다.
• 슬라이딩 윈도우 방식을 활용해 일반 RNN과 LSTM을 평가하며, LSTM은 게이팅된 메모리 유닛을 사용해 장기적 의존성을 모델링한다.
• 저지연 성능을 확보하기 위해 CNN은 VHDL로 구현하고, RNN은 고수준 합성(HLS)을 통해 고클럭 주파수 최적화를 실시하며, Stratix-10 FPGA를 대상으로 한다.
• Keras 소프트웨어 추론 결과와 비교해 FPGA 결과를 검증하며, 양자화 및 LUT 기반 활성화 함수로 인해 미미한 편차가 발생한다.
• 실시간 트리거 요구사항을 충족하기 위해 자원 사용량(DSPs, ALMs), 지연 시간, 이니셜리제이션 간격, 최대 클럭 주파수를 최적화한다.

실험 결과

연구 질문

• RQ1 ATLAS LAr 캘로리미터에서 고피로드 조건 하에서 CNN과 RNN이 현재의 최적 필터를 능가하는 에너지 해상도를 확보할 수 있는가?
• RQ2 다양한 신경망 아키텍처(CNN 대비 RNN)는 40 MHz 샘플링 주파수에서 겹치는 펄스를 탐지하고 에너지를 재구성하는 데 어떻게 성능을 내는가?
• RQ3 실시간 처리를 위한 자원 및 주파수 제약 조건을 충족하면서도 FPGA 기반 ML 구현이 정확성과 저지연을 유지할 수 있는 정도는 어느 정도인가?
• RQ4 하드웨어 양자화 및 LUT 기반 활성화 함수는 소프트웨어 추론 대비 FPGA 기반 ML 모델의 정밀도에 어떤 영향을 미치는가?
• RQ5 150 ns 이내의 지연 시간을 유지하면서 FPGA에서 입력 데이터 채널의 최대 멀티플렉싱 계수는 얼마인가?

주요 결과

• 3-Conv 및 4-Conv CNN은 240 MeV 이상의 에너지 분포에 대해 >90%의 탐지 효율을 달성하며, 최적 필터의 약 80% 효율을 뛰어넘는다.
• 모든 테스트된 신경망(3-Conv CNN, 4-Conv CNN, 일반 RNN, LSTM)은 최적 필터보다 뛰어난 에너지 해상도를 보이며, 특히 피로드로 인해 신호가 겹치는 저시간 간격 영역에서 두드러진 성능 향상을 보인다.
• 최고 성능을 보인 모델들(예: 3-Conv CNN 및 LSTM)은 분포 간격이 10–20 ns일 때도 에너지 해상도가 안정적으로 유지되며, 이는 최적 필터의 성능 저하와 대비된다.
• FPGA로 구현된 신경망은 소프트웨어 추론 결과와 매우 유사한 성능을 보이며, CNN의 경우 출력 편차가 1% 미만, RNN의 경우 최대 2% 이내로, 양자화 및 LUT 기반 활성화 함수로 인한 영향이 미미하다.
• 모든 구현에서 최대 클럭 주파수는 480–641 MHz 범위를 차지하며, CNN의 경우 6배, 일반 RNN의 경우 15배의 멀티플렉싱이 가능하며, 후자는 최고 641 MHz 주파수를 달성했지만 더 높은 자원 사용량을 보였다.
• 슬라이딩 윈도우 방식을 적용한 LSTM은 517 MHz 클럭 주파수와 12.8%의 DSP 사용률을 확보해 고처리량 처리에 적합한 성능-자원 효율성의 균형을 확보했다.