[论文解读] Binary Classification from Positive-Confidence Data

Takashi Ishida, Gang Niu+1 more|arXiv (Cornell University)|Oct 19, 2017

Anomaly Detection Techniques and Applications参考文献 39被引用 23

一句话总结

本文提出了一种新型二分类框架——正向置信度（Pconf）分类，该框架仅使用带有置信度分数的正样本数据进行判别分类器的训练，无需负样本或未标记数据。通过仅基于正向置信度数据重新表述分类风险，该方法实现了稳定的经验风险最小化，在Fashion-MNIST和CIFAR-10数据集上的实验中，使用深度神经网络取得了与完全监督学习相当的性能。

ABSTRACT

Can we learn a binary classifier from only positive data, without any negative data or unlabeled data? We show that if one can equip positive data with confidence (positive-confidence), one can successfully learn a binary classifier, which we name positive-confidence (Pconf) classification. Our work is related to one-class classification which is aimed at "describing" the positive class by clustering-related methods, but one-class classification does not have the ability to tune hyper-parameters and their aim is not on "discriminating" positive and negative classes. For the Pconf classification problem, we provide a simple empirical risk minimization framework that is model-independent and optimization-independent. We theoretically establish the consistency and an estimation error bound, and demonstrate the usefulness of the proposed method for training deep neural networks through experiments.

研究动机与目标

• 解决仅能获取带有置信度分数的正样本而无法获得负样本或未标记数据时的二分类挑战。
• 开发一种与模型和优化无关的弱监督下判别分类器训练框架。
• 为所提出的方法建立理论一致性及估计误差界。
• 通过在线性模型和深度神经网络上的实验，证明其实际有效性。
• 通过利用置信度信息绕过类别先验估计，克服单类分类和PU分类的局限性。

提出的方法

• 该方法基于仅依赖正向置信度数据的重新表述，构建了一个分类风险无偏估计器的最小化框架。
• 利用置信度分数作为类别先验和条件概率的代理变量，实现在无负样本情况下的估计。
• 该方法与模型无关且与优化无关，可应用于各种模型，包括参数线性模型和深度神经网络。
• 在实现中，论文采用高斯核模型和带有标准训练设置的卷积神经网络。
• 通过在置信度分数中隐式嵌入类别先验信息，避免了PU学习中估计类别先验这一主要挑战。
• 理论分析建立了方法的一致性，并在温和正则条件下提供了估计误差界。

实验结果

研究问题

• RQ1 能否仅使用带有置信度分数的正样本有效训练二分类器，而无需任何负样本或未标记数据？
• RQ2 如何利用正样本上的置信度分数构建一个一致且可泛化的分类器？
• RQ3 此类方法的理论泛化性能如何？与现有弱监督学习方法相比表现如何？
• RQ4 该方法是否能在真实世界基准中实现接近完全监督学习的性能？
• RQ5 在判别能力与超参数调优方面，该方法与单类分类和PU分类相比表现如何？

主要发现

• 在Fashion-MNIST数据集上，Pconf分类在将T恤与长裤分类时，平均准确率达到92.14% ± 4.06%，优于加权分类基线（85.30% ± 9.07%）和基于自编码器的方法（71.06% ± 1.00%）。
• 在T恤与套头衫分类任务中，Pconf分类达到96.00% ± 0.29%，与加权基线（96.08% ± 1.05%）相当或更优，并显著优于自编码器方法（70.27% ± 1.22%）。
• 在CIFAR-10数据集上，Pconf分类在飞机与狗的分类任务中达到89.91% ± 0.85%，与最佳基线（89.60% ± 0.92%）相当，并显著优于自编码器方法（62.64% ± 0.63%）。
• 在多个设置中，Pconf分类的性能与完全监督方法相当或更优，尤其在T恤与大衣分类任务中（98.12% ± 0.33% vs. 98.44% ± 0.13%）。
• 该方法在不同负样本选择下表现出鲁棒性，对各类基线均保持一致的性能提升，并在在线性模型和深度学习设置中均展现出强大的泛化能力。
• 理论分析证实了估计器的一致性，并提供了有限样本下的估计误差界，验证了该方法的统计可靠性。