[论文解读] AND: Autoregressive Novelty Detectors.

Davide Abati, Angelo Porrello+2 more|arXiv (Cornell University)|Jul 4, 2018

Anomaly Detection Techniques and Applications参考文献 57被引用 19

一句话总结

本文提出 AND（自回归新颖性检测器），一种无监督的一类新颖性检测模型，通过使用带有自回归模块的深度自编码器来最大化压缩潜在码的似然度。通过利用自回归方法对潜在表征的密度进行建模，该方法在无需异常标注数据的情况下，在图像和视频异常检测基准上实现了优异性能。

ABSTRACT

We propose an unsupervised model for novelty detection. The subject is treated as a density estimation problem, in which a deep neural network is employed to learn a parametric function that maximizes probabilities of training samples. This is achieved by equipping an autoencoder with a novel module, responsible for the maximization of compressed codes' likelihood by means of autoregression. We illustrate design choices and proper layers to perform autoregressive density estimation when dealing with both image and video inputs. Despite a very general formulation, our model shows promising results in diverse one-class novelty detection and video anomaly detection benchmarks.

研究动机与目标

• 解决在无需异常样本标注的情况下检测新型、未见异常的挑战。
• 通过利用自回归似然最大化方法对压缩潜在表征的密度进行建模，改进一类新颖性检测。
• 设计一种适用于图像和视频输入的可泛化框架，基于深度神经网络。
• 实现端到端训练，使模型能够为正常样本分配高似然度，为分布外或异常样本分配低似然度。

提出的方法

• 该模型采用深度自编码器将输入数据压缩为潜在码，作为密度估计的基础。
• 引入一种新颖的自回归模块，通过将联合概率分解为条件概率的乘积，对压缩潜在码的似然度进行建模。
• 自回归模块被训练以最大化潜在空间中正常训练样本的对数似然度。
• 该方法使用标准深度学习层（如卷积和转置卷积网络）处理图像和视频数据，配合适当的归一化和激活函数。
• 模型仅使用正常数据的对数似然最大似然目标进行端到端训练，无需任何异常监督。
• 最终的异常得分由潜在表征的负对数似然度得出，得分越高表示新颖性越高。

实验结果

研究问题

• RQ1 对潜在表征进行自回归建模是否能提升图像和视频数据上的一类新颖性检测性能？
• RQ2 当训练过程中未提供任何异常标注时，该方法在检测分布外样本方面的有效性如何？
• RQ3 在图像和视频潜在空间中，自回归密度估计的最优架构选择和层类型是什么？
• RQ4 该方法是否能在多样化的图像和视频异常检测基准上实现泛化？

主要发现

• 所提出的 AND 模型在多个一类新颖性检测基准上表现优异，展现出强大的泛化能力，且无需异常标注数据。
• 自回归模块有效建模了潜在码的密度，从而能够准确区分正常与异常样本。
• 该方法在视频异常检测中表现出色，表明其适用于序列数据。
• 由于其通用的公式设计和有效的潜在密度估计，该模型在不同数据类型（包括图像和视频）上均表现出稳健性能。