[论文解读] Class Proportion Estimation with Application to Multiclass Anomaly Rejection

Tyler Sanderson, Clayton Scott|arXiv (Cornell University)|Jun 21, 2013

Anomaly Detection Techniques and Applications参考文献 14被引用 34

一句话总结

本文提出了一种新颖的类别比例估计（CPE）方法，该方法无需某一类别的标注训练数据，从而实现了稳定的多类别异常拒绝（MCAR）。通过将CPE问题转化为混合比例估计，并引入基于多类别VC理论的统一误差分析，该方法在CPE和MCAR上均实现了稳定学习——为这些领域自适应问题提供了首个已知的稳定方法，并在基准数据集上进行了实证验证。

ABSTRACT

This work addresses two classification problems that fall under the heading of domain adaptation, wherein the distributions of training and testing examples differ. The first problem studied is that of class proportion estimation, which is the problem of estimating the class proportions in an unlabeled testing data set given labeled examples of each class. Compared to previous work on this problem, our approach has the novel feature that it does not require labeled training data from one of the classes. This property allows us to address the second domain adaptation problem, namely, multiclass anomaly rejection. Here, the goal is to design a classifier that has the option of assigning a "reject" label, indicating that the instance did not arise from a class present in the training data. We establish consistent learning strategies for both of these domain adaptation problems, which to our knowledge are the first of their kind. We also implement the class proportion estimation technique and demonstrate its performance on several benchmark data sets.

研究动机与目标

• 解决在训练数据和测试数据分布不同的领域自适应场景下的类别比例估计（CPE）问题，特别是当某一类别在训练集中缺失时。
• 为多类别异常拒绝（MCAR）开发一种稳定的学习策略，其中分类器可拒绝不属于任何已知训练类别的样本。
• 建立首个已知的MCAR稳定判别规则，以及一种无需所有类别标注数据的稳定CPE方法。
• 在基准数据集上实现并实证验证CPE技术，证明其在分布偏移下的鲁棒性能。
• 基于多类别VC理论和统一误差分析，为所提出的学习策略提供理论基础。

提出的方法

• 将CPE问题简化为混合比例估计，通过将测试数据的混合密度与类别条件密度的加权组合相匹配来估计类别比例。
• 使用核逻辑回归结合ROC回归来估计类别比例，引入贝叶斯自助法以减少噪声并改善拟合效果。
• 为MCAR中的经验风险最小化提出一种新颖的误差估计策略，即使异常类别无训练样本，也能实现稳定学习。
• 基于多类别VC理论实施统一误差分析，以建立学习规则的一致性，同时控制估计误差和近似误差。
• 利用贝叶斯自助法的置信区间估计类别比例的上下界，实验中观察到95%的覆盖率。
• 通过网格搜索和三折交叉验证选择超参数，以最大化准确率和AUC，同时利用初始步骤的带宽以减少计算量。

实验结果

研究问题

• RQ1 当某一类别在训练数据中未被表示时，是否可以实现类别比例估计的一致性？
• RQ2 当异常类别无任何训练数据时，是否可以设计一种多类别异常拒绝分类器以实现一致性？
• RQ3 如何有效利用混合比例估计来估计多类别领域自适应设置下未知的类别比例？
• RQ4 对于所提出的CPE和MCAR学习策略，可以提供哪些理论一致性保证？
• RQ5 在不同基准数据集上，类别比例的估计置信区间在覆盖率和精度方面表现如何？

主要发现

• 所提出的CPE方法在16个基准数据集上，95%分位数置信区间的估计值对真实类别比例的覆盖率达到94.7%至99.1%。
• 对于SensIT（3类）和DNA（3类）等多类别数据集，分别有99.1%和98.5%的真实比例落在估计的置信区间内。
• 随着训练和测试样本量的增加，该方法的置信区间更紧密，置信区间上限的标准差从0.54降至0.03。
• 在Ringnorm和Twonorm等二分类数据集上，覆盖率达到了98.2%至99.1%，表明其具有强大的实证可靠性。
• 贝叶斯自助法改善了模型拟合效果，并提供了稳健的置信区间，其中π的上界通过下界ROC回归估计。
• 通过多类别VC理论建立了理论一致性，证明随着样本量增加，估计误差和近似误差均收敛于零。