[论文解读] Autoencoder-Based Semantic Novelty Detection: Towards Dependable AI-Based Systems

Andreas Rausch|arXiv (Cornell University)|Oct 22, 2021

Anomaly Detection Techniques and Applications参考文献 25被引用 9

一句话总结

本文提出了一种基于自编码器的新型语义新颖性检测框架，通过检测语义上新颖的输入（尤其是与训练数据结构相似但语义不同的输入），提升了基于人工智能的自主系统安全性。通过使用基于分类器计算的语义损失替代传统的均方误差（MSE）损失，该方法在未知数字上的误检率降低至0%，显著优于先前的方法。

ABSTRACT

Many autonomous systems, such as driverless taxis, perform safety-critical functions. Autonomous systems employ artificial intelligence (AI) techniques, specifically for environmental perception. Engineers cannot completely test or formally verify AI-based autonomous systems. The accuracy of AI-based systems depends on the quality of training data. Thus, novelty detection, that is, identifying data that differ in some respect from the data used for training, becomes a safety measure for system development and operation. In this study, we propose a new architecture for autoencoder-based semantic novelty detection with two innovations: architectural guidelines for a semantic autoencoder topology and a semantic error calculation as novelty criteria. We demonstrate that such a semantic novelty detection outperforms autoencoder-based novelty detection approaches known from the literature by minimizing false negatives.

研究动机与目标

• 解决基于自编码器的新颖性检测在安全关键型人工智能系统中误检率过高的关键挑战。
• 通过检测在结构上与已知数据相似但语义上新颖的输入，提升自主系统中人工智能感知的鲁棒性。
• 开发一种方法，确保能够可靠检测到新的、相关的训练数据，从而增强系统可靠性。
• 通过在重建过程中引入语义一致性，将误检率最小化——这在安全场景中至关重要。
• 提供一种实用且可扩展的解决方案，用于基于定量监测器的实时人工智能感知系统监控。

提出的方法

• 设计一种语义自编码器架构，遵循特定的架构指导原则，以在编码和解码过程中保持语义结构。
• 将标准的均方误差（MSE）损失替换为基于重建输入与原始输入分类输出的语义损失。
• 使用预训练的数字分类器比较原始输入和重建输入的预测类别；类别不匹配表示输入为新颖输入。
• 端到端训练自编码器，使用语义损失以鼓励重建过程保持语义含义。
• 将模型集成到定量监测器中，实现在自主系统运行过程中对新颖性的实时检测。
• 使用基准数据集（如MNIST）验证该方法，并与朴素自编码器和半语义变体进行性能对比。

实验结果

研究问题

• RQ1 语义自编码器架构能否降低在结构相似但语义不同的输入上的新颖性检测中误检错误？
• RQ2 将MSE损失替换为基于分类器预测结果的语义损失，对新颖性检测性能有何影响？
• RQ3 所提出的完全语义方法在检测新数据方面，相较于半语义和朴素自编码器方法，优势有多大？
• RQ4 该方法能否可靠检测到未知但语义相关的数据（如新数字或字母），同时将误报率最小化？
• RQ5 架构设计在多大程度上影响系统在真实世界人工智能感知任务中检测语义新颖性的能力？

主要发现

• 完全语义的新颖性检测方法将未知数字的误检错误率从8%（半语义方法）降低至0%。
• 该方法成功识别了语义上新颖的输入（如未知数字和字母），无论其与训练数据的结构相似性如何。
• 误报率从8%（半语义方法）上升至20%（完全语义方法），但从安全角度出发，误报率被认为远不如误检率关键。
• 语义损失机制有效捕捉了语义一致性，使得即使输入结构与已知数据几乎完全相同，也能检测到新颖输入。
• 如图12所示，该方法在测试集上表现出完美的新颖性检测性能，对未知数字类别的检测率达到100%。
• 通过可复现的实验对方法进行了验证，包括由研究助理独立完成的验证。