[논문 리뷰] Anomaly Detection using Deep Reconstruction and Forecasting for Autonomous Systems

Nadarasar Bahavan, Navaratnarajah Suman외 10명|arXiv (Cornell University)|2020. 06. 25.

Anomaly Detection Techniques and Applications참고 문헌 33인용 수 7

한 줄 요약

이 논문은 영상 및 IMU 데이터를 사용하여 자율 시스템에서 실시간 이상 탐지에 적합한 자기지도 학습 기반 딥러닝 방법을 제안한다. 조건부 GAN 기반 영상 예측기와 LSTM 기반 오토에코더/예측기를 활용하여 영상 이상 탐지에서 94%의 정확도와 0.95 F1 점수를 달성하였고, IMU 이상 탐지에서는 100%의 정확도와 0.98 F1 점수를 기록하였다.

ABSTRACT

We propose self-supervised deep algorithms to detect anomalies in heterogeneous autonomous systems using frontal camera video and IMU readings. Given that the video and IMU data are not synchronized, each of them are analyzed separately. The vision-based system, which utilizes a conditional GAN, analyzes immediate-past three frames and attempts to predict the next frame. The frame is classified as either an anomalous case or a normal case based on the degree of difference estimated using the prediction error and a threshold. The IMU-based system utilizes two approaches to classify the timestamps; the first being an LSTM autoencoder which reconstructs three consecutive IMU vectors and the second being an LSTM forecaster which is utilized to predict the next vector using the previous three IMU vectors. Based on the reconstruction error, the prediction error, and a threshold, the timestamp is classified as either an anomalous case or a normal case. The composition of algorithms won runners up at the IEEE Signal Processing Cup anomaly detection challenge 2020. In the competition dataset of camera frames consisting of both normal and anomalous cases, we achieve a test accuracy of 94% and an F1-score of 0.95. Furthermore, we achieve an accuracy of 100% on a test set containing normal IMU data, and an F1-score of 0.98 on the test set of abnormal IMU data.

연구 동기 및 목표

• 비정형 자율 시스템에서 레이블이 없는 비지도 및 자기지도 딥러닝 기반 실시간 이상 탐지 기능을 제공하기 위해.
• 내부(운동 관련) 및 외부(환경 관련) 요인에 기인한 즉각적이고 전이적 이상을 모두 탐지하기 위해.
• 영상 데이터는 공간적 및 시각적 이상 탐지에, IMU 데이터는 운동 관련 이상 탐지에 각각 유용한 특성을 활용하여 독립적으로 데이터를 활용하기 위해.
• 예측 오차를 통해 이격을 탐지하는 복원 기반 및 예측 기반 모델을 융합하여 정확도를 향상시키기 위해.
• IEEE Signal Processing Cup 2020 이상 탐지 경연 대회에서 검증된 실세계 벤치마크에서 높은 성능을 달성하기 위해.

제안 방법

• 이전 3帧의 영상을 기반으로 다음 영상 프레임을 예측하기 위해 조건부 GAN(cGAN)을 활용한 CNN-LSTM 예측기 사용. 예측 오차를 이상 탐지 지표로 활용.
• 연속된 3개의 IMU 벡터를 복원하기 위해 LSTM 오토에코더 적용. 복원 오차를 이상 탐지에 사용.
• 이전 3개의 IMU 벡터를 기반으로 다음 IMU 벡터를 예측하기 위해 LSTM 예측기 사용. 예측 오차를 이상 신호로 활용.
• 영상 예측기의 일반화 능력과 이상 탐지 재현율을 향상시키기 위해 조건부 GAN 손실을 활용한 적대적 피팅 튜닝 도입.
• 실시간 추론을 위해 ROS에 시스템을 구현. 이방향 영상 및 IMU 스트림을 독립적으로 처리.
• 이상 운동의 기준을 확립하기 위해 IMU 선형 가속도 및 각속도에 고정 임계값 적용.

실험 결과

연구 질문

• RQ1 자기지도 딥러닝 모델이 영상 및 IMU 데이터를 활용하여 자율 시스템에서 즉각적이고 전이적 이상을 효과적으로 탐지할 수 있는가?
• RQ2 레이블이 없는 이상 데이터로 훈련된 복원 기반 및 예측 기반 모델이 이상을 탐지하는 데 얼마나 잘 성능을 내는가?
• RQ3 적대적 피팅 튜닝이 갑작스럽고 예측 불가능한 시각적 전이를 탐지하는 데 있어 영상 예측기의 성능을 얼마나 향상시키는가?
• RQ4 영상에서 시각적 신호가 없더라도 갑작스럽게 변화하는 운동을 탐지할 수 있는 IMU 기반 모델이 존재하는가?
• RQ5 영상 및 IMU 이상 탐지의 융합이 실세계 자율 시스템 환경에서 전체적인 정확도를 얼마나 향상시키는가?

주요 결과

• 영상 기반 이상 탐지 모델은 정상 및 비정상 영상 시퀀스가 포함된 데이터셋에서 테스트 정확도 94%와 F1 점수 0.95를 달성하였다.
• IMU 기반 LSTM 예측기 모델은 비정상 IMU 테스트 데이터에서 100%의 정확도와 F1 점수 0.98을 기록하였고, 정상 IMU 테스트 케이스에서는 95.3%의 정확도를 기록하였다.
• CNN-LSTM 예측기 모델에 조건부 GAN 손실을 활용한 피팅 튜닝을 적용한 결과, 재현율이 90.81%에서 98.21%로 향상되었고, 정확도는 93.81%에서 94.18%로, F1 점수는 0.9518에서 0.9537로 상승하였다.
• 예기치 않게 나타나는 사람 등장과 같은 갑작스러운 가림 현상에서도 입력 프레임에 패턴이 없어 예측 오차가 급격히 증가함을 통해 시스템이 성공적으로 탐지하였다.
• 갑작스럽고 예측 불가능한 운동 전이로 인한 예측 실패로 인해 전이적 이상인 기립형 드론의 비정상적인 움직임도 정확히 식별하였다.
• 모델 조합은 IEEE Signal Processing Cup 2020 이상 탐지 경연에서 2위를 차지하여 실세계 환경에서의 성능과 정확도를 검증하였다.