[论文解读] Anomaly Detection using Deep Reconstruction and Forecasting for Autonomous Systems

Nadarasar Bahavan, Navaratnarajah Suman+10 more|arXiv (Cornell University)|Jun 25, 2020

Anomaly Detection Techniques and Applications参考文献 33被引用 7

一句话总结

本文提出了一种基于视频和IMU数据的自监督深度学习方法，用于自动驾驶系统中的实时异常检测。该方法采用基于条件生成对抗网络（cGAN）的视频预测模型和基于LSTM的自编码器/预测模型来处理IMU数据，在视频异常检测中实现了94%的准确率和0.95的F1分数，在IMU异常检测中实现了100%的准确率和0.98的F1分数。

ABSTRACT

We propose self-supervised deep algorithms to detect anomalies in heterogeneous autonomous systems using frontal camera video and IMU readings. Given that the video and IMU data are not synchronized, each of them are analyzed separately. The vision-based system, which utilizes a conditional GAN, analyzes immediate-past three frames and attempts to predict the next frame. The frame is classified as either an anomalous case or a normal case based on the degree of difference estimated using the prediction error and a threshold. The IMU-based system utilizes two approaches to classify the timestamps; the first being an LSTM autoencoder which reconstructs three consecutive IMU vectors and the second being an LSTM forecaster which is utilized to predict the next vector using the previous three IMU vectors. Based on the reconstruction error, the prediction error, and a threshold, the timestamp is classified as either an anomalous case or a normal case. The composition of algorithms won runners up at the IEEE Signal Processing Cup anomaly detection challenge 2020. In the competition dataset of camera frames consisting of both normal and anomalous cases, we achieve a test accuracy of 94% and an F1-score of 0.95. Furthermore, we achieve an accuracy of 100% on a test set containing normal IMU data, and an F1-score of 0.98 on the test set of abnormal IMU data.

研究动机与目标

• 通过无监督、自监督的深度学习方法，实现在异构自动驾驶系统中的实时异常检测。
• 检测瞬时异常和过渡性异常，涵盖内部（与运动相关）和外部（环境相关）异常。
• 独立利用视频和IMU数据，充分发挥其互补优势：视频用于检测空间与视觉异常，IMU用于检测运动相关的异常。
• 通过结合基于重建的模型和基于预测的模型，利用预测误差检测偏差，从而提升模型鲁棒性。
• 在真实世界基准上实现高性能，经IEEE信号处理杯2020年异常检测挑战赛验证。

提出的方法

• 使用CNN-LSTM预测模型结合条件生成对抗网络（cGAN），从前三帧预测下一帧视频，以预测误差作为异常指标。
• 应用LSTM自编码器对三个连续的IMU向量进行重建，利用重建误差检测异常。
• 采用LSTM预测模型，从前三组IMU向量预测下一组IMU向量，使用预测误差作为异常信号。
• 引入基于条件生成对抗网络损失的对抗性微调，以提升视频预测模型的泛化能力与异常检测召回率。
• 在ROS中实现系统，支持实时推理，独立处理异步的视频与IMU数据流。
• 对IMU的线性加速度和角速度应用固定阈值，以建立异常运动的真值标签。

实验结果

研究问题

• RQ1 自监督深度学习模型能否有效检测自动驾驶系统中视频和IMU数据的瞬时与过渡性异常？
• RQ2 在无标注异常数据的情况下，基于重建与基于预测的模型在异常检测中的表现如何？
• RQ3 对抗性微调在多大程度上提升了视频预测模型对突发、不可预测视觉变化的检测性能？
• RQ4 基于IMU的模型能否检测到视频中不可见的异常，例如无视觉线索的突然运动变化？
• RQ5 视频与IMU异常检测结果的融合在真实自动驾驶系统场景中如何提升整体鲁棒性？

主要发现

• 基于视频的异常检测模型在包含正常与异常视频序列的数据集上，测试准确率达到94%，F1分数为0.95。
• 基于IMU的LSTM预测模型在异常IMU测试数据上达到100%的准确率，F1分数为0.98；在正常IMU测试案例中准确率为95.3%。
• 使用条件生成对抗网络损失对CNN-LSTM预测模型进行微调后，召回率从90.81%提升至98.21%，准确率从93.81%提升至94.18%，F1分数从0.9518提升至0.9537。
• 系统成功检测到突发遮挡（如突然出现的行人），其预测误差因输入帧缺乏模式而显著上升。
• 模型正确识别了如无人机异常飞行等过渡性异常，其预测失败源于不可预测的运动过渡。
• 该模型组合在IEEE信号处理杯2020年异常检测挑战赛中获得亚军，验证了其在真实场景中的性能与鲁棒性。