[논문 리뷰] Recurrent Neural Networks for anomaly detection in the Post-Mortem time series of LHC superconducting magnets

Maciej Wielgosz, Andrzej Skoczeń외 1명|arXiv (Cornell University)|2017. 02. 02.

Seismology and Earthquake Studies참고 문헌 18인용 수 7

한 줄 요약

이 논문은 CERN의 대형 하드론 충돌기(Large Hadron Collider) 초전도 자석의 사망 후 시계열 데이터에서 이상 현상을 탐지하기 위해 LSTM 및 GRU 순환 신경망을 사용하는 딥러닝 접근법을 제안한다. 고해상도 역사적 데이터로 훈련함으로써 수동 임계값 설정 없이도 비정상 작동 조건을 99.9%의 정확도로 식별할 수 있으며, 이는 시스템 설정 시 전문가의 간섭을 크게 줄이는 데 기여한다.

ABSTRACT

This paper presents a model based on Deep Learning algorithms of LSTM and GRU for facilitating an anomaly detection in Large Hadron Collider superconducting magnets. We used high resolution data available in Post Mortem database to train a set of models and chose the best possible set of their hyper-parameters. Using Deep Learning approach allowed to examine a vast body of data and extract the fragments which require further experts examination and are regarded as anomalies. The presented method does not require tedious manual threshold setting and operator attention at the stage of the system setup. Instead, the automatic approach is proposed, which achieves according to our experiments accuracy of 99%. This is reached for the largest dataset of 302 MB and the following architecture of the network: single layer LSTM, 128 cells, 20 epochs of training, look_back=16, look_ahead=128, grid=100 and optimizer Adam. All the experiments were run on GPU Nvidia Tesla K80

연구 동기 및 목표

• 대형 하드론 충돌기(Large Hadron Collider, LHC)의 초전도 자석에서 이상 탐지를 자동화하여 수동 전문가 참여를 줄이기.
• 수작업으로 만든 시간이 많이 소요되는 모델을 대체하기 위해 RNN 기반의 데이터 기반 딥러닝 접근법을 도입하기.
• 고해상도 사망 후 데이터에서 이상 탐지 정확도를 최대화하는 데 최적의 하이퍼파rameter(예: look_back, look_ahead, 그리드 크기, 셀 수)를 식별하기.
• 실시간 제어 시스템, 특히 FPGA 구현 가능성을 포함해 이러한 모델을 실시간으로 구현할 수 있는지의 타당성 평가하기.

제안 방법

• 이 방법은 LHC 초전도 자석의 시계열 데이터에서 시간적 의존성을 모델링하기 위해 장기 단기 기억(Long Short-Term Memory, LSTM) 및 게이팅 순환 단위(Gated Recurrent Unit, GRU) 네트워크를 사용한다.
• 시계열 데이터는 격자 기반 양자화 방식을 사용하여 이산화되며, 각 값은 사전 정의된 격자 크기(grid=100)에 기반한 범주로 매핑된다.
• 미래 상태를 예측하고 이상을 탐지하기 위해 슬라이딩 윈도우 방식을 사용하며, look_back=16 및 look_ahead=128로 설정된다.
• 분류 정확도를 최대화하기 위해 하이퍼파rameter로는 셀 수, 훈련 에포크 수, 옵티마이저(Adam) 등을 격자 탐색을 통해 최적화한다.
• 최적 성능를 위해 단일층 LSTM을 사용하며, 128개의 메모리 유닛을 갖추고 302MB 데이터셋을 20에포크 동안 훈련한다.
• 모델 평가는 이상 탐지 정확도를 기준으로 하며, 다양한 격자 크기, look_ahead 값, 네트워크 깊이에 따른 성능을 비교 분석한다.

실험 결과

연구 질문

• RQ1 LSTM 및 GRU와 같은 딥러닝 모델이 LHC 초전도 자석의 고해상도 사망 후 시계열 데이터에서 이상을 효과적으로 탐지할 수 있는가?
• RQ2 이상 탐지 정확도를 최대화하기 위해 최적의 하이퍼파rameter 구성(예: look_back, look_ahead, 그리드 크기, 셀 수)은 무엇인가?
• RQ3 데이터 해상도와 네트워크 복잡도가 증가함에 따라 모델 성능은 어떻게 변화하는가?
• RQ4 이러한 방법이 수동 임계값 설정이나 시스템 설정 시 전문가 감시 없이도 높은 정확도를 달성할 수 있는가?
• RQ5 이러한 모델은 QPS와 같은 하드 실시간 제어 시스템에 실시간으로 구현 가능한가? 그리고 FPGA에 구현 가능한가?

주요 결과

• 제안된 LSTM 기반 모델은 302MB의 가장 큰 데이터셋에서 단일층 아키텍처, 128개의 셀, 20에포크, look_back=16, look_ahead=128, grid=100 조건에서 99.9%의 정확도를 달성했다.
• 그리드 크기를 늘리면(더 세밀한 양자화) 데이터 표현의 세밀함은 증가하지만, 분류 복잡도 증가로 인해 성능이 악화되었다.
• 더 큰 look_ahead 값은 정확도를 떨어뜨렸으며, 미래를 더 멀리 예측할수록 불확실성이 증가하고 모델의 난이도가 높아지기 때문이다.
• 9개 이상의 LSTM 셀을 사용할 경우 성능 향상이 거의 없었으며, 이는 이 이상 탐지 작업에 있어 9개의 셀이 충분하다는 것을 시사한다.
• 작은 데이터셋에서 GRU와 LSTM 모델은 거의 동일한 성능(61.17% 대 61.12%)을 보였으며, 이는 이 응용 분야에서 유사한 효과를 가짐을 시사한다.
• 이 방법은 수동 임계값 설정 없이 자동으로 이상 탐지를 가능하게 하여, 모델 설정 및 검증 시 전문가의 간섭이 크게 줄어들게 한다.