[论文解读] Discriminative Multi-level Reconstruction under Compact Latent Space for One-Class Novelty Detection

Jaewoo Park, Yoon Gyo Jung+1 more|arXiv (Cornell University)|Mar 3, 2020

Anomaly Detection Techniques and Applications参考文献 61被引用 5

一句话总结

该论文提出了一种判别性紧凑自编码器（DCAE），一种基于生成对抗网络框架的单类新颖性检测模型，通过内部判别性层学习紧凑且无坍塌的潜在表征。通过利用多层次重建和一种基于判别器倒数第二层的新型语义重建误差，DCAE在CIFAR-10及其他基准数据集上实现了新颖性检测与对抗样本检测的最先进性能。

ABSTRACT

In one-class novelty detection, a model learns solely on the in-class data to single out out-class instances. Autoencoder (AE) variants aim to compactly model the in-class data to reconstruct it exclusively, thus differentiating the in-class from out-class by the reconstruction error. However, compact modeling in an improper way might collapse the latent representations of the in-class data and thus their reconstruction, which would lead to performance deterioration. Moreover, to properly measure the reconstruction error of high-dimensional data, a metric is required that captures high-level semantics of the data. To this end, we propose Discriminative Compact AE (DCAE) that learns both compact and collapse-free latent representations of the in-class data, thereby reconstructing them both finely and exclusively. In DCAE, (a) we force a compact latent space to bijectively represent the in-class data by reconstructing them through internal discriminative layers of generative adversarial nets. (b) Based on the deep encoder's vulnerability to open set risk, out-class instances are encoded into the same compact latent space and reconstructed poorly without sacrificing the quality of in-class data reconstruction. (c) In inference, the reconstruction error is measured by a novel metric that computes the dissimilarity between a query and its reconstruction based on the class semantics captured by the internal discriminator. Extensive experiments on public image datasets validate the effectiveness of our proposed model on both novelty and adversarial example detection, delivering state-of-the-art performance.

研究动机与目标

• 为解决自编码器-based 单类新颖性检测中潜在表征坍塌的问题，该问题会降低类内重建质量。
• 通过学习类内数据的紧凑但无坍塌的潜在表征，改进基于重建的新颖性检测。
• 开发一种更有效且鲁棒的重建误差度量，以捕捉类内与类外样本之间的高层语义差异。
• 实现出色的推理性能，且无需依赖外部分类器或复杂采样技术。
• 在标准新颖性检测与对抗样本检测任务中均实现强大性能。

提出的方法

• DCAE采用深层自编码器，其瓶颈潜在空间通过判别器约束，以确保表征紧凑且无坍塌。
• 采用多层次重建损失（Leaf），在编码器-解码器的多个层上强制执行重建，从而提升特征学习与泛化能力。
• 利用内部判别器的倒数第二层，将输入与重建结果映射至该层特征空间，从而实现一种新颖的语义感知重建误差得分。
• 新颖性得分函数 sa(x) 定义为 1 减去判别器倒数第二层中输入与重建结果的归一化特征之间的余弦相似度，以捕捉类别语义信息。
• 编码器被设计为对开放集风险敏感，因此即使将类外样本映射到同一紧凑潜在空间，其重建质量也较差。
• 该方法通过将新颖性检测机制嵌入自编码器内部架构，避免了外部分类器与复杂采样技术的使用。

实验结果

研究问题

• RQ1 基于重建的新颖性检测模型是否能通过学习紧凑且无坍塌的潜在表征，同时实现类内数据的精细且专一的重建？
• RQ2 使用内部判别器的倒数第二层计算语义感知重建误差，是否能提升新颖性检测性能，相比像素级重建损失？
• RQ3 多层次重建损失是否能增强特征学习，并在单类设置下提升检测准确率？
• RQ4 所提方法在检测分布外样本与对抗样本方面，与最先进模型相比表现如何？
• RQ5 通过tanh激活显式约束潜在空间，是否会因表征坍塌导致性能下降？

主要发现

• 在CIFAR-10的Protocol B下，DCAE的平均AUC达到0.7412，优于所有基线模型，包括OCGAN、D-SVDD和AnoGAN。
• 在边界攻击生成的对抗样本检测中，采用语义感知得分（sa）的DCAE取得0.929的AUC，显著优于使用得分函数sc的DCAE（0.877）以及D-SVDD等先前方法（0.803）。
• 消融实验表明，若移除Leaf多层次重建损失或Linv−z组件，性能将下降，此时DCAE的平均AUC仅为0.7080。
• 即使采用tanh约束潜在空间（tanh-DCAE），但缺少所提组件的模型性能更差（平均AUC为0.6796），证实显式约束确实会导致表征坍塌。
• 随着用于得分计算的网络层加深，性能单调提升，验证了判别器高层特征能捕捉更具判别性的语义信息。
• 基于判别器倒数第二层的得分函数sa(x)在所有类别上均一致优于基于像素的重建误差（sper−pixel），证明其在捕捉语义新颖性方面的优越性。