[论文解读] Robust Variational Autoencoder for Tabular Data with Beta Divergence

Haleh Akrami, Sergül Aydöre+2 more|arXiv (Cornell University)|Jun 15, 2020

Anomaly Detection Techniques and Applications参考文献 17被引用 5

一句话总结

本文提出了一种用于表格数据的鲁棒变分自编码器（RTVAE），通过使用 β-散度来提高在混合类别型与连续型表格数据中对异常值的训练鲁棒性。通过在重建损失中用 β-散度替代标准的 KL 散度，该模型即使在训练数据包含高达 1% 的污染时，也能保持准确的异常检测性能，在 KDDCup 99、NSL-KDD 和 UNSW-NB15 数据集上的 AUC 表现优于标准 VAE。

ABSTRACT

We propose a robust variational autoencoder with $β$ divergence for tabular data (RTVAE) with mixed categorical and continuous features. Variational autoencoders (VAE) and their variations are popular frameworks for anomaly detection problems. The primary assumption is that we can learn representations for normal patterns via VAEs and any deviation from that can indicate anomalies. However, the training data itself can contain outliers. The source of outliers in training data include the data collection process itself (random noise) or a malicious attacker (data poisoning) who may target to degrade the performance of the machine learning model. In either case, these outliers can disproportionately affect the training process of VAEs and may lead to wrong conclusions about what the normal behavior is. In this work, we derive a novel form of a variational autoencoder for tabular data sets with categorical and continuous features that is robust to outliers in training data. Our results on the anomaly detection application for network traffic datasets demonstrate the effectiveness of our approach.

研究动机与目标

• 解决标准变分自编码器（VAEs）在训练数据中存在异常值时的脆弱性，因为异常值可能导致正常行为表征的扭曲。
• 将先前应用于图像数据的鲁棒 β-散度框架扩展至具有混合类别型与连续型特征的表格数据集。
• 为 RTVAE 开发一种统一的训练机制，通过基于 β-散度的重建损失同时处理类别型与连续型变量。
• 在数据污染条件下展示异常检测性能的提升，特别是在标注异常样本稀缺的网络流量数据集中。

提出的方法

• 在 VAE 的重建损失中，用 β-散度替代标准的 KL 散度，以降低对异常值引起的大型重建误差的敏感性。
• 通过 β-交叉熵公式推导类别型变量的基于 β-散度的重建损失，以考虑离散概率分布。
• 在高斯假设下制定连续型变量的重建损失，通过修改的对数似然项将 β-散度适配至高斯似然。
• 将类别型与连续型重建损失整合为单一目标函数，以支持混合表格数据的端到端训练。
• 使用全连接神经网络架构，连续型解码器采用 tanh 激活函数，类别型解码器采用 softmax 激活函数。
• 使用 Adam 优化器进行训练，通过验证集 AUC 调整 β 超参数，并应用早停法以防止过拟合。

实验结果

研究问题

• RQ1 在包含混合特征类型的表格数据集中，当训练数据中存在异常值时，β-散度能否提升 VAE 的鲁棒性？
• RQ2 在网络流量数据集中，随着数据污染程度的增加，RTVAE 的性能与标准 VAE 相比如何？
• RQ3 当真实正常分布因异常值而被污染时，所提出的基于 β-散度的重建损失是否仍能保持高异常检测准确率？
• RQ4 当训练数据中包含恶意或噪声样本时，RTVAE 是否仍能有效学习正常行为的有意义低维表征？

主要发现

• 标准 VAE 在训练数据中仅含 1% 污染时，AUC 性能显著下降，表明其对异常值高度敏感。
• RTVAE 在所有测试数据集（KDDCup 99、NSL-KDD、UNSW-NB15）中即使在 1% 训练污染下仍保持稳定且高水平的 AUC 性能。
• 该模型的鲁棒性归因于 β-散度能够降低训练过程中异常值引起的大型重建误差的影响。
• 通过验证集 AUC 在 [1e-5, 0.1] 范围内对 β 超参数进行调优，可获得最佳性能，且在低 β 值时表现最优。
• 与标准 VAE 相比，RTVAE 在基准网络流量数据集上实现了更优的异常检测性能，尤其在数据投毒或数据采集存在噪声的情境下。
• 所提出的方法成功将 β-散度从基于图像的 VAE 推广至具有混合类别型与连续型特征的表格数据，实现了鲁棒的表征学习。