[논문 리뷰] Autoencoders on FPGAs for real-time, unsupervised new physics detection at 40 MHz at the Large Hadron Collider

Ekaterina Govorkova, Ema Puljak외 12명|OSTI OAI (U.S. Department of Energy Office of Scientific and Technical Information)|2021. 08. 09.

Particle physics theoretical and experimental studies참고 문헌 46인용 수 5

한 줄 요약

이 논문은 LHC의 레벨-1 트리거(L1T)에서 실시간 비지도 이상 탐지 기능을 수행하기 위해 양자화 및 정규화된 딥 오토인코더(AE)와 변동형 오토인코더(VAE)를 FPGA에 구현하는 방법을 제안한다. hls4ml를 사용하여 양자화 인식 훈련과 지연 최적화된 인코더 전용 추론를 적용함으로써, Xilinx Virtex VU9P FPGA의 논리 자원의 3% 미만을 사용하면서도 80 ns의 지연 시간을 달성하였으며, 이는 새로운 물리적 서명을 세 개의 지수 정도 향상시키는 데 기여한다. 이는 엄격한 L1T 제약 조건을 충족한다.

ABSTRACT

In this paper, we show how to adapt and deploy anomaly detection algorithms based on deep autoencoders, for the unsupervised detection of new physics signatures in the extremely challenging environment of a real-time event selection system at the Large Hadron Collider (LHC). We demonstrate that new physics signatures can be enhanced by three orders of magnitude, while staying within the strict latency and resource constraints of a typical LHC event filtering system. This would allow for collecting datasets potentially enriched with high-purity contributions from new physics processes. Through per-layer, highly parallel implementations of network layers, support for autoencoder-specific losses on FPGAs and latent space based inference, we demonstrate that anomaly detection can be performed in as little as $80\,$ns using less than 3% of the logic resources in the Xilinx Virtex VU9P FPGA. Opening the way to real-life applications of this idea during the next data-taking campaign of the LHC.

연구 동기 및 목표

• 이론에 기반한 선택 기준의 한계를 극복하기 위해 LHC의 레벨-1 트리거에서 딥 러닝을 활용한 실시간 비지도 이상 탐지 기능을 가능하게 하기 위해.
• L1T의 1 μs 지연 시간과 150 ns의 초기화 간격 제약 조건 내에서 자원이 제한된 FPGA에 오토인코더 기반 이상 탐지 기능을 구현하기 위해.
• 모델 복잡도를 정규화, 양자화, 아키텍처 최적화를 통해 줄이되, 희귀한 새로운 물리적 서명의 탐지 정확도를 유지하기 위해.
• 잠재 공간 기반 추론을 통해 디코더를 사용하지 않는 방식이 비용이 많이 드는 디코딩을 피함으로써 FPGA 자원 사용을 크게 줄일 수 있음을 보여주기 위해.
• LHC 런 3에서 (V)AE를 L1T에 구현할 수 있는 가능성을 검증하여 신호 모델에 의존하지 않는 데이터 수집을 가능하게 하기 위해.

제안 방법

• hls4ml 라이브러리를 사용하여 훈련된 신경망을 FPGA 펌웨어로 매핑함으로써, DNN 및 CNN 오토인코더의 고수준 합성 기능을 제공한다.
• 정밀도를 전체 정밀도에서 8비트 또는 4비트로 감소시키기 위해 양자화 인식 훈련(QAT)과 훈련 후 양자화(PTQ)를 적용하여 FPGA 자원 사용량을 최소화한다.
• 모델 정규화와 불필요한 연산 제거를 통해 네트워크 아키텍처를 추가로 압축하면서도 정확도 손실을 최소화한다.
• VAE에 대해 지연 시간 최적화된 인코더 전용 추론 전략을 구현하여 디코더 계산과 가우시안 샘플링을 트리거 경로에서 제거한다.
• 잠재 공간 재구성 오차를 이상도 수치로 사용하여 확률적 성분 없이 결정적인 트리거 결정을 가능하게 한다.
• HLS C 시뮬레이션과 Vivado HLS를 사용하여 설계를 검증하였으며, 최종적으로 Xilinx VCU118 보드에 탑재된 VU9P FPGA에 있는 emp-fwk 펌웨어 스택에 통합하였다.

실험 결과

연구 질문

• RQ1 오토인코더 기반 이상 탐지 기능을 LHC의 레벨-1 트리거에 구현할 수 있는가? 이때 지연 시간은 1μs 이하이며 FPGA 자원 사용량은 최소화되어야 한다.
• RQ2 L1T의 자원과 시간 제약 조건 하에서, 완전히 연결된 신경망과 컨볼루션 신경망 아키텍처의 성능는 어떻게 비교될 수 있는가?
• RQ3 양자화와 정규화를 통해 얼마나 정확도를 유지하면서도 모델 크기를 줄일 수 있는가? 이는 FPGA에 구현할 때 유리한 조건이 된다.
• RQ4 VAE 아키텍처에서 디코더를 사용하지 않고 인코더만 사용하는 것이 이상 탐지 능력에 영향을 주지 않으면서 자원 소비를 크게 줄일 수 있는가?
• RQ5 레벨-1 트리거에서 VAE의 인코더만을 사용하여 새로운 물리적 서명 탐지 능력을 세 개의 지수 정도 향상시킬 수 있는가?

주요 결과

• 8비트 양자화를 적용한 DNN VAE는 Xilinx Virtex VU9P FPGA에서 80 ns의 지연 시간을 기록했으며, DSP는 1%, LUT는 3%, FF는 0.5%, BRAM는 0.3%를 사용하였다.
• CNN AE 모델은 DSP 8%와 LUT 47%를 필요로 하여 실용적인 자원 예산을 초과하여 향후 배포에서 제외되었다.
• 인코더 전용 VAE 추론은 전체 VAE 대비 지연 시간을 두 배로 줄였으며, 유사한 이상 탐지 성능을 유지하였다.
• CNN AE를 제외한 모든 모델은 150 ns의 초기화 간격 요구 조건을 충족하였으며, DNN VAE는 가장 낮은 자원 사용량과 가장 빠른 지연 시간을 기록하였다.
• DNN VAE 모델은 성공적으로 emp-fwk 펌웨어 스택에 통합되었으며, 240 MHz에서 시뮬레이션 및 하드웨어 테스트를 통해 검증되었다.
• Xilinx V7-690 FPGA에 대한 자원 추정 결과, DNN VAE는 DSP 3%, LUT 9%, FF 3%, BRAM 0.4%를 사용하며, 지연 시간은 205 ns였다. 이는 현재 CMS 트리거 하드웨어에서의 구현 가능성을 확인한다.