[논문 리뷰] Uncertainty aware anomaly detection to predict errant beam pulses in the SNS accelerator

Willem Blokland, Pradeep Ramuhalli외 6명|arXiv (Cornell University)|2021. 10. 22.

Advanced Malware Detection Techniques인용 수 6

한 줄 요약

이 논문은 단일 차동 전류 모니터(DCM)에서 수집한 데이터를 사용하여 스퍼레이션 중성자원(SNS) 가속기에서 비정상적인 비드 펄스를 예측하기 위한 시아모이즈 신경망 모델을 제안한다. 이는 최소한의 계산 부하로도 조기 비정상성 탐지를 가능하게 하며, 추가 센서나 복잡한 데이터 처리 없이도 가속기의 신뢰성을 향상시킨다. 이 방법은 비정상적인 비드 펄스를 최소한 한 펄스 앞서 높은 정확도로 식별할 수 있으며, 이는 비용 효율적인 조기 고장을 탐지할 수 있도록 한다.

ABSTRACT

High-power particle accelerators are complex machines with thousands of pieces of equipmentthat are frequently running at the cutting edge of technology. In order to improve the day-to-dayoperations and maximize the delivery of the science, new analytical techniques are being exploredfor anomaly detection, classification, and prognostications. As such, we describe the applicationof an uncertainty aware Machine Learning method, the Siamese neural network model, to predictupcoming errant beam pulses using the data from a single monitoring device. By predicting theupcoming failure, we can stop the accelerator before damage occurs. We describe the acceleratoroperation, related Machine Learning research, the prediction performance required to abort beamwhile maintaining operations, the monitoring device and its data, and the Siamese method andits results. These results show that the researched method can be applied to improve acceleratoroperations.

연구 동기 및 목표

• 단일 비드 모니터링 장치에서 수집한 데이터만을 사용하여 SNS 가속기에서 비정상적인 비드 펄스를 예측하는 기계학습 방법을 개발하는 것.
• 비드 정지로 이어지는 고장을 방지하기 위해 고장을 조기에 탐지함으로써 비드 손실과 장비 손상을 줄이는 것.
• 조기 이상 탐지 기반의 사전 정지 조치를 통해 가속기 가용성을 유지하는 것.
• 재훈련 없이도 새로운 고장 유형에 대응할 수 있도록 진화하는 운영 조건에 적응 가능한 확장성 있고 불확실성 인식 기반의 이상 탐지 시스템을 구축하는 것.
• 기존 모니터링 인프라를 활용하여 추가 비드 진단 장치 설치나 고비용 업그레이드를 피하는 것.

제안 방법

• 비드 펄스 웨이브폼 간의 유사도를 학습하기 위해 시아모이즈 신경망을 사용하여 유사도 거리 측정법을 학습한다.
• 정상 펄스와 비정상 펄스로 구성된 비드 전류 트레이스 쌍을 사용하여 대조 손실 함수를 적용하여 유사한 쌍 간의 거리를 최소화하고, 비유사 쌍 간의 거리를 최대화하도록 모델을 훈련시킨다.
• 비드 손실에 민감한 차등 신호를 계산하기 위해 원천의 상流 및 하류에서 비드 전류를 측정하는 차동 전류 모니터(DCM)를 사용한다.
• 유사도 점수에 임계값 기반 의사결정 규칙을 적용하여 잠재적인 비드 손실 사건을 경고한다.
• 임bed딩 공간 거리로 모델 신뢰도를 평가하여, 분포 외 이상 현상도 탐지할 수 있도록 불확실성 인식 기능을 통합한다.
• 실제 SNS 비드 데이터를 기반으로 한 검증을 통해 최소한 한 펄스 이상 앞서 고장을 예측하는 데 중점을 두었다.

실험 결과

연구 질문

• RQ1 단일 비드 전류 모니터만을 사용하여 시아모이즈 신경망이 잠재적인 비드 손실 사건을 효과적으로 탐지할 수 있는가?
• RQ2 학습 데이터에 포함되지 않은 새로운 비드 손실 패tern에 대해 모델이 얼마나 잘 일반화되는가?
• RQ3 충분한 사전 경고 시간(≥1 펄스)을 확보하면서도 낮은 거짓 경고 비율을 유지할 수 있는가?
• RQ4 모델의 불확실성 추정 기능이 새로운 또는 희귀한 고장 유형을 식별하는 데 어떻게 기여하는가?
• RQ5 추가 센서가 없이도 최소한의 계산 부하로 구현 가능할 수 있는가?

주요 결과

• 시아모이즈 신경망은 단일 DCM에서의 데이터만을 사용하여 비정상적인 비드 펄스를 최소한 한 펄스 앞서 성공적으로 예측하였다.
• 시험 데이터에서 모델은 진짜 양성률(92%)과 거짓 양성률(8%)을 기록하여 뛰어난 예측 성능를 입증하였다.
• 재훈련 없이도 새로운 이상을 탐지할 수 있도록 불확실성 인식 유사도 점수 기능 덕분에 모델의 내재된 유연성이 뛰어나, 새로운 고장 유형에 대한 강건성을 입증하였다.
• 이 방법은 최소한의 계산 자원을 요구하여 운영 가속기 환경에서 실시간 구현에 적합하였다.
• 다중 비드 모니터에서의 데이터가 필요로 하지 않아 시스템의 복잡성과 비용을 줄일 수 있었다.
• 이 연구는 고정밀 가속기 시스템에서 불확실성 인식 유사도 학습이 이상 탐지에 효과적이라는 점을 확인하였다.