[论文解读] Classification from Pairwise Similarity and Unlabeled Data

Han Bao, Gang Niu+1 more|arXiv (Cornell University)|Feb 12, 2018

Machine Learning and Data Classification参考文献 43被引用 13

一句话总结

本文提出SU分类，一种弱监督学习方法，仅使用成对相似（S）数据和无标签（U）数据训练二元分类器，无需显式标签。该方法建立了具有最优参数收敛速率的无偏经验风险估计器，可在温和条件下实现归纳性、样本外预测及类别识别，实验验证了其在真实世界数据上的有效性。

ABSTRACT

Supervised learning needs a huge amount of labeled data, which can be a big bottleneck under the situation where there is a privacy concern or labeling cost is high. To overcome this problem, we propose a new weakly-supervised learning setting where only similar (S) data pairs (two examples belong to the same class) and unlabeled (U) data points are needed instead of fully labeled data, which is called SU classification. We show that an unbiased estimator of the classification risk can be obtained only from SU data, and the estimation error of its empirical risk minimizer achieves the optimal parametric convergence rate. Finally, we demonstrate the effectiveness of the proposed method through experiments.

研究动机与目标

• 通过减少对完全标注数据的依赖，解决监督学习中高标注成本和隐私担忧的问题。
• 开发一种弱监督学习框架，仅使用成对相似（S）数据和无标签（U）数据，称为SU分类。
• 确保该方法生成的分类器具备归纳能力，可对未见样本进行预测，与典型半监督聚类方法相区别。
• 建立理论泛化界，表明估计误差达到最优参数收敛速率。
• 在特定条件下实现类别识别（区分正类与负类），适用于敏感话题。

提出的方法

• 提出仅使用S对和U点的SU分类经验风险最小化框架，采用无偏分类风险估计器。
• 基于S和U数据的联合分布定义代理风险函数，实现在无显式标签情况下的估计。
• 采用参数线性模型与Lipschitz连续损失函数，确保在特定条件下目标函数的凸性。
• 应用Talagrand不等式与Rademacher复杂度，通过S和U数据的结构边界泛化误差。
• 推导出将风险估计分解为S和U数据分量的估计器，并为每一部分分别建立浓度边界。
• 采用重加权机制校正S数据中的类别不平衡问题，确保在正类稀少时估计的一致性。

实验结果

研究问题

• RQ1 能否仅使用成对相似数据和无标签数据有效训练二元分类器，而无需任何显式标注样本？
• RQ2 所提出的SU分类方法是否实现估计误差的最优参数收敛速率？
• RQ3 该方法能否生成具备对未见测试数据泛化能力的归纳分类器？
• RQ4 在何种条件下SU分类可识别哪一类为正类（类别识别）？
• RQ5 与标准监督学习和PU分类基线相比，该方法在实际中的表现如何？

主要发现

• 所提出的SU分类方法在估计误差上实现了最优参数收敛速率，达到监督学习中可能的最佳速率。
• 仅从S和U数据中推导出分类风险的无偏估计器，实现无需显式标签的一致学习。
• 通过归纳分类器支持样本外预测，区别于无监督聚类方法。
• 理论分析证实，即使正类稀少，估计误差仍以最优速率收敛。
• 实证结果表明，该方法在真实世界数据集上具有实际有效性，尤其适用于高标注成本或隐私约束场景。
• 在温和条件下，该方法可实现类别识别，从而区分正类与负类。