[论文解读] Concise Logarithmic Loss Function for Robust Training of Anomaly Detection Model

YeongHyeon Park|arXiv (Cornell University)|Jan 15, 2022

Anomaly Detection Techniques and Applications被引用 7

一句话总结

本文提出了一种新型对数均方误差（LMSE）损失函数，以提升基于自编码器模型的训练稳定性和异常检测性能。通过对接近误差进行对数缩放，LMSE增强了梯度流动和损失收敛性，展现出更强的鲁棒性，在MNIST上相比MSE的AUROC最高提升0.017，且在Fashion-MNIST上保持了稳定的性能表现。

ABSTRACT

Recently, deep learning-based algorithms are widely adopted due to the advantage of being able to establish anomaly detection models without or with minimal domain knowledge of the task. Instead, to train the artificial neural network more stable, it should be better to define the appropriate neural network structure or the loss function. For the training anomaly detection model, the mean squared error (MSE) function is adopted widely. On the other hand, the novel loss function, logarithmic mean squared error (LMSE), is proposed in this paper to train the neural network more stable. This study covers a variety of comparisons from mathematical comparisons, visualization in the differential domain for backpropagation, loss convergence in the training process, and anomaly detection performance. In an overall view, LMSE is superior to the existing MSE function in terms of strongness of loss convergence, anomaly detection performance. The LMSE function is expected to be applicable for training not only the anomaly detection model but also the general generative neural network.

研究动机与目标

• 解决使用标准均方误差（MSE）损失训练深度自编码器进行异常检测时的不稳定性问题。
• 通过降低反向传播过程中对大预测误差的敏感性，提升训练的鲁棒性。
• 通过更稳定且一致的损失收敛过程，提升异常检测性能。
• 在多个基准数据集（MNIST、Fashion-MNIST）上，将所提出的LMSE损失与MSE和MSLE进行对比评估。

提出的方法

• 在MSE损失函数中对预测误差进行对数变换，从而得到对数均方误差（LMSE）损失。
• LMSE损失定义为 $ L_{\text{LMSE}}(y,\hat{y}) = \frac{1}{N} \sum_{n=1}^{N} (\log(y+1) - \log(\hat{y}+1))^2 $，对目标值和预测值均应用对数缩放。
• 采用网格搜索进行超参数调优（潜在维度和学习率），以确保不同损失函数之间的公平比较。
• 使用AUROC作为评估异常检测性能的主要指标，每个数据集设置10类正常类。
• 可视化损失收敛性和梯度动态，以比较MSE与LMSE之间的训练稳定性。
• 在MNIST和Fashion-MNIST上进行消融研究，分析不同运行下的平均性能与标准差。

实验结果

研究问题

• RQ1 对MSE损失进行对数变换是否能提升基于自编码器的异常检测模型的训练稳定性？
• RQ2 在训练过程中，LMSE与MSE和MSLE相比，损失收敛速度和一致性如何？
• RQ3 LMSE对异常检测性能的影响如何，以AUROC衡量，特别是在不同正常类定义下？
• RQ4 LMSE的性能提升在统计上是否显著，并且在MNIST和Fashion-MNIST等多样化数据集上是否一致？
• RQ5 与MSE相比，LMSE是否能降低在不同超参数设置下训练结果的方差？

主要发现

• 在MNIST和Fashion-MNIST上，LMSE均表现出更优的损失收敛稳定性，训练运行中的平均损失更低，标准差更小。
• 在MNIST数据集上，LMSE的平均AUROC为0.893 ± 0.067，优于MSE的0.887 ± 0.074，平均AUROC提升0.006。
• 在MNIST的'类别2'异常检测任务中，LMSE相较于MSE的最大性能提升达到0.017 AUROC。
• 在Fashion-MNIST上，LMSE的平均AUROC（0.901 ± 0.060）略低于MSE（0.903 ± 0.060），但性能稳定性相当。
• 在MNIST上，LMSE的AUROC标准差（0.067）低于MSE（0.074），表明其性能更一致。
• 可视化分析证实，LMSE在高误差区域产生更陡峭的梯度，能够更快纠正大误差，从而提升训练鲁棒性。