[论文解读] A Bayesian Approach to the Data Description Problem

Alireza Ghasemi, Hamid R. Rabiee+2 more|arXiv (Cornell University)|Feb 24, 2016

Anomaly Detection Techniques and Applications参考文献 27被引用 8

一句话总结

本文提出了一种新颖的贝叶斯数据描述框架，将核方法的稀疏性与概率方法的先验知识建模相结合，实现了在无标签数据下的有效单类学习。该方法通过利用先验分布和无标签样本，提升了边界估计的准确性与鲁棒性，在多种数据集上实现了最先进性能。

ABSTRACT

In this paper, we address the problem of data description using a Bayesian framework. The goal of data description is to draw a boundary around objects of a certain class of interest to discriminate that class from the rest of the feature space. Data description is also known as one-class learning and has a wide range of applications. The proposed approach uses a Bayesian framework to precisely compute the class boundary and therefore can utilize domain information in form of prior knowledge in the framework. It can also operate in the kernel space and therefore recognize arbitrary boundary shapes. Moreover, the proposed method can utilize unlabeled data in order to improve accuracy of discrimination. We evaluate our method using various real-world datasets and compare it with other state of the art approaches of data description. Experiments show promising results and improved performance over other data description and one-class learning algorithms.

研究动机与目标

• 解决传统单类学习方法缺乏稀疏性或无法整合领域知识的局限性。
• 开发一种概率框架，实现在数据描述任务中对先验知识的合理利用。
• 将无标签数据整合到学习过程中，以提升模型准确性，而无需依赖有标签的负样本。
• 弥合基于核的方法（如SVDD）与贝叶斯方法之间的差距，实现计算效率与不确定性感知建模的兼顾。
• 通过支持向量的有信息先验建模，提升对噪声的鲁棒性并降低训练复杂度。

提出的方法

• 通过在决策函数上施加高斯过程先验，将数据描述建模为贝叶斯推断问题。
• 使用核化似然函数，对特征空间中数据点属于目标类别的概率进行建模。
• 通过在模型参数上定义信息性先验（特别是支持向量的位置与稀疏性），整合先验知识。
• 通过更新贝叶斯模型的先验均值，利用无标签数据来有效优化边界估计。
• 应用变分推断或拉普拉斯近似，以近似模型参数的后验分布。
• 通过后验精度选择最相关的数据点（支持向量），实现稀疏性，从而保持计算效率。

实验结果

研究问题

• RQ1 能否设计一种贝叶斯框架，同时在单类学习中实现稀疏性与先验知识的有效利用？
• RQ2 如何系统性地将无标签数据整合到贝叶斯数据描述模型中，以提升泛化能力？
• RQ3 整合先验知识在多大程度上可减少训练时间并提升对噪声的鲁棒性？
• RQ4 与最先进的单类学习算法（如SVDD和OCGP）相比，所提方法在性能与效率方面表现如何？
• RQ5 在标注数据稀缺的小型或复杂数据集上，贝叶斯方法是否能保持高准确性？

主要发现

• 所提出的半监督贝叶斯数据描述（SSDD）方法在所有测试数据集上均优于SVDD、OCGP和映射收敛方法，尤其在MNIST和Caltech-101等挑战性数据集上，平均准确率提升高达10%。
• 在ISOLET数据集上，SSDD达到98.23%的准确率（标准差为0.38），显著优于SVDD（92.28%）和映射收敛方法（94.87%）。
• 在COIL20数据集上，SSDD达到66.53%的准确率，较SVDD（54.63%）提升17%，较映射收敛方法（59.25%）提升7%，在小型和复杂数据集上表现出显著优势。
• 在Corel数据集上，SSDD达到97.26%的准确率，运行时间仅2.52秒，优于SVDD（90.21%）和映射收敛方法（93.69%），同时保持了良好的运行速度。
• 与映射收敛方法相比，SSDD显著减少了训练时间（后者需执行单类与二分类两步），且仅略慢于SVDD。
• 在小型和困难数据集上，无标签数据的使用带来了最显著的性能提升，证实了其在数据稀缺场景下的价值。