[论文解读] Further Analysis of Outlier Detection with Deep Generative Models

Ziyu Wang, Bin Dai+2 more|arXiv (Cornell University)|Oct 25, 2020

Generative Adversarial Networks and Image Synthesis参考文献 34被引用 10

一句话总结

本文提出了一种基于时间序列弱平稳性和白噪声特性的新型异常检测检验方法，表明基于似然的异常检测失败并非源于模型校准不当，而是由于典型集与高密度区域之间的不匹配。该方法在性能上优于标准的似然检验，并揭示即使简单的模型也能模仿深度生成模型（DGMs）的失败模式，从而呼吁对评估基准进行修订。

ABSTRACT

The recent, counter-intuitive discovery that deep generative models (DGMs) can frequently assign a higher likelihood to outliers has implications for both outlier detection applications as well as our overall understanding of generative modeling. In this work, we present a possible explanation for this phenomenon, starting from the observation that a model's typical set and high-density region may not conincide. From this vantage point we propose a novel outlier test, the empirical success of which suggests that the failure of existing likelihood-based outlier tests does not necessarily imply that the corresponding generative model is uncalibrated. We also conduct additional experiments to help disentangle the impact of low-level texture versus high-level semantics in differentiating outliers. In aggregate, these results suggest that modifications to the standard evaluation practices and benchmarks commonly applied in the literature are needed.

研究动机与目标

• 解释为何深度生成模型（DGMs）通常对语义上不同的异常样本赋予比内点更高的似然值。
• 开发一种更鲁棒的异常检测检验方法，将典型性原则推广至有限且不完美的数据。
• 证明基于似然的检验失败并非模型校准不当的决定性证据。
• 揭示当前异常检测基准中依赖低层次纹理而非高层次语义的缺陷。
• 倡导改进评估实践，并设计新的基准，以更好地评估DGMs中的语义理解能力。

提出的方法

• 提出一种基于重建序列自相关结构的白噪声检验方法，用较弱的平稳性标准替代严格的独立同分布（IID）假设。
• 应用文献中的时间序列诊断方法检测与白噪声的偏离，以识别分布外样本。
• 通过模型采样从内点数据构建检验序列，并在所提检验下评估其统计特性。
• 在多个DGMs和数据集上，将所提检验与标准的似然检验及其他基于典型性的方法进行比较。
• 利用多元高斯模型表明，所观察到的失败模式并非复杂DGMs独有，而是源于基本的统计特性。
• 设计新基准，减少对低层次纹理线索的依赖，以更好地评估DGMs中的语义泛化能力。

实验结果

研究问题

• RQ1 为何深度生成模型对语义上不同的异常样本赋予比内点更高的似然值？
• RQ2 基于弱平稳性和白噪声特性的检验能否优于标准的似然检验？
• RQ3 基于似然的检验失败在多大程度上是由于模型校准不当，而非固有的统计限制？
• RQ4 当前基准为何无意中更有利于基于纹理的而非基于语义的异常检测？
• RQ5 像多元高斯模型这样的简单模型能否复现复杂DGMs中观察到的失败模式？

主要发现

• 所提出的基于白噪声的异常检测检验在标准评估设置中始终优于基于似然的检验，表明似然失败并非模型校准不当的决定性证据。
• 即使是一个简单的多元高斯模型，也能对异常样本赋予比内点更高的似然值，表明该现象并非深度生成模型独有。
• 当前基准常允许通过图像空间中的线性自相关实现成功的异常检测，表明其未能有效评估语义理解能力。
• 典型集与高密度区域之间的不匹配解释了为何基于似然的检验会失败，但这并不意味着存在模型校准问题。
• 现有评估实践可能因过度依赖低层次图像统计特性，而高估了DGMs在异常检测上的性能。
• 本研究呼吁采用新基准，强调语义差异，并减少对纹理线索的依赖。