[论文解读] Nonparametric semi-supervised learning of class proportions

Shantanu Jain, Martha White+2 more|arXiv (Cornell University)|Jan 8, 2016

Machine Learning and Data Classification参考文献 34被引用 18

一句话总结

该论文提出了一种非参数半监督方法，用于在正例-未标记学习中估计类别比例，通过将问题表述为两组分混合模型中混合比例的估计。该方法引入了最大典范形式以确保可识别性，并基于最大似然估计与类别先验保持变换开发了一种算法，以处理高维数据，在合成数据集和真实世界数据集上均优于现有最先进方法。

ABSTRACT

The problem of developing binary classifiers from positive and unlabeled data is often encountered in machine learning. A common requirement in this setting is to approximate posterior probabilities of positive and negative classes for a previously unseen data point. This problem can be decomposed into two steps: (i) the development of accurate predictors that discriminate between positive and unlabeled data, and (ii) the accurate estimation of the prior probabilities of positive and negative examples. In this work we primarily focus on the latter subproblem. We study nonparametric class prior estimation and formulate this problem as an estimation of mixing proportions in two-component mixture models, given a sample from one of the components and another sample from the mixture itself. We show that estimation of mixing proportions is generally ill-defined and propose a canonical form to obtain identifiability while maintaining the flexibility to model any distribution. We use insights from this theory to elucidate the optimization surface of the class priors and propose an algorithm for estimating them. To address the problems of high-dimensional density estimation, we provide practical transformations to low-dimensional spaces that preserve class priors. Finally, we demonstrate the efficacy of our method on univariate and multivariate data.

研究动机与目标

• 解决在无法获取或不可用负样本的正例-未标记学习中估计类别先验的挑战。
• 将类别先验估计表述为在两组分混合模型中学习混合比例的非参数问题。
• 通过引入一种典范形式以解决混合比例估计中的可识别性问题，确保唯一解的同时保持灵活性。
• 开发实用的高维密度估计技术，通过类别先验保持变换实现降维，从而保留类别先验。
• 在单变量和多变量数据上，通过实证验证所提方法相对于现有最先进方法的性能。

提出的方法

• 将类别先验估计表述为在两组分混合模型中学习混合比例 α 的问题：f(x) = αf₁(x) + (1−α)f₀(x)，其中 f₁ 由正样本数据已知，f 由未标记数据估计。
• 引入最大典范形式，通过使混合密度与分量密度在共同点处达到最大值，以强制实现可识别性。
• 基于典范形式推导似然函数，并利用最大似然估计优化 α，利用典范空间中对数似然函数的凸性特性。
• 提出类别先验保持变换（例如使用分类器得分）将高维数据投影到单变量空间，使密度估计可行且准确。
• 在变换空间中采用核密度估计进行非参数密度近似，带宽选择由交叉验证或插值法指导。
• 使用对数似然图检测拐点作为最优 α 的指示，通过启发式方法提高在噪声环境下的鲁棒性。

实验结果

研究问题

• RQ1 在不假设分量密度参数形式的前提下，能否使两组分混合模型中的混合比例估计具有可识别性？
• RQ2 在高维设置下，如何使类别先验的非参数估计在密度估计不可行时仍保持鲁棒性？
• RQ3 何种变换策略可在降维的同时保持类别先验，以实现有效估计？
• RQ4 与现有监督和无监督方法相比，所提方法在类别先验估计中的准确度如何？
• RQ5 最大典范形式在何种理论与实证条件下能确保对 α 的一致估计？

主要发现

• 所提出的 AlphaMax 方法在 12 个 UCI 数据集上均达到最低的平均绝对误差（MAE），在 12 个数据集中的 10 个中 MAE 值始终低于 0.05，且在 12 次比较中有 9 次在统计上显著更优。
• 在 waveform 和 ball-in-the-box 数据集上，AlphaMax 在 α=0.05 时的 MAE 分别为 0.004 和 0.004，显著优于 pdf 比值法与 cdf 基方法（p<0.05）。
• 对于高维数据如 Gas（127 个特征）和 Spambase（57 个特征），AlphaMax 的 MAE 分别为 0.018 和 0.066，优于 pdf 比值法（0.335 和 0.116）与 cdf 基方法（0.137 和 0.027）。
• 最大典范形式即使在原始混合模型不可识别时，也能实现 α 的稳定且唯一的估计，理论与实证均验证了其可识别性。
• 该方法在各类数据分布（包括偏斜和多峰密度）下表现出鲁棒性，且在 α 从 0.05 到 0.95 的不同取值下均保持一致性能。
• 基于分类器得分的变换有效保留了类别先验，使在直接多变量密度估计失效的高维设置中仍能实现准确估计。