[论文解读] Alternate Estimation of a Classifier and the Class-Prior from Positive and Unlabeled Data

Masahiro Kato, Liyuan Xu+2 more|arXiv (Cornell University)|Sep 15, 2018

Advanced Statistical Methods and Models参考文献 5被引用 9

一句话总结

本文提出了一种新颖的交替估计框架，联合学习二值分类器并从正样本和未标记样本（PU）数据中估计类别先验，通过迭代优化两个组件，解决了传统两步法的局限性。该方法在分类器训练过程中考虑了类别先验估计误差，从而提升了分类性能，并在温和的正则性条件下收敛至真实的类别先验。

ABSTRACT

We consider a problem of learning a binary classifier only from positive data and unlabeled data (PU learning) and estimating the class-prior in unlabeled data under the case-control scenario. Most of the recent methods of PU learning require an estimate of the class-prior probability in unlabeled data, and it is estimated in advance with another method. However, such a two-step approach which first estimates the class prior and then trains a classifier may not be the optimal approach since the estimation error of the class-prior is not taken into account when a classifier is trained. In this paper, we propose a novel unified approach to estimating the class-prior and training a classifier alternately. Our proposed method is simple to implement and computationally efficient. Through experiments, we demonstrate the practical usefulness of the proposed method.

研究动机与目标

• 为解决传统两步PU学习方法中先估计类别先验再训练分类器所导致的次优性能问题。
• 开发一种统一框架，交替估计类别先验并训练分类器，以减少先验估计误差的传播。
• 通过在分类器学习过程中考虑类别先验估计的不确定性，提升分类性能。
• 为病例对照场景下的PU学习提供一种计算高效且易于实现的算法。

提出的方法

• 该方法在估计类别先验 π 和使用经验风险最小化框架结合对数损失函数训练分类器 f 之间交替进行。
• 在每次迭代 k 中，通过固定 κ = π^(k) 最小化风险 R^κ(f)，使用从PU数据中推导出的无偏风险估计器。
• 类别先验 π^(k+1) 通过在未标记数据分布上对分类器输出 f^(k)(x) 进行积分来更新，即 π^(k+1) = ∫ f^(k)(x) p(x) dx。
• 对 f^(k)(x) 应用截断机制，以确保其值远离 1，防止数值不稳定性。
• 理论分析证明了类别先验估计 π^(k) 收敛至与数据一致的最大可能类别先验 π_max。
• 该方法假设类别条件密度和边缘密度具有利普希茨连续性，以建立收敛速率。

实验结果

研究问题

• RQ1 在PU学习中联合估计类别先验与分类器是否能优于先估计先验再训练分类器的两步方法？
• RQ2 在分类器训练过程中考虑类别先验估计误差，对整体分类性能有何影响？
• RQ3 在类别先验未知的PU学习中，交替优化方案能提供何种收敛保证？
• RQ4 在数据密度的合理正则性条件下，所提方法是否能收敛至真实的类别先验？
• RQ5 与最先进的类别先验估计和PU学习方法相比，该方法在性能上表现如何？

主要发现

• 所提交替方法在温和正则性条件下（包括密度函数的利普希茨连续性）收敛至真实的类别先验 π_max。
• 理论分析表明，类别先验估计 π^(k) 收敛至 π_max 的速率依赖于维度 d 和密度参数。
• 实验结果表明，所提方法在类别先验估计不佳时，分类性能优于基线两步方法。
• 该方法计算高效且易于实现，仅需迭代更新分类器和先验估计。
• 通过截断机制，算法保持了数值稳定性，使分类器输出远离 1。
• 实验表明，将该方法与PU学习结合使用时，其类别先验估计性能优于现有技术。