[论文解读] Mitigating Overfitting in Supervised Classification from Two Unlabeled Datasets: A Consistent Risk Correction Approach

Nan Lu, Tianyi Zhang+2 more|arXiv (Cornell University)|Oct 20, 2019

Machine Learning and Data Classification参考文献 56被引用 16

一句话总结

本文提出了一种一致的风险校正方法，以缓解无标签-无标签（UU）分类中的严重过拟合问题，该问题与负的样本风险同时发生。通过使用校正函数包裹导致风险为负的问题项，该方法确保风险估计器非负，证明了其一致性并提升了泛化性能，实验表明相比原始的UU方法，准确率有显著提升。

ABSTRACT

The recently proposed unlabeled-unlabeled (UU) classification method allows us to train a binary classifier only from two unlabeled datasets with different class priors. Since this method is based on the empirical risk minimization, it works as if it is a supervised classification method, compatible with any model and optimizer. However, this method sometimes suffers from severe overfitting, which we would like to prevent in this paper. Our empirical finding in applying the original UU method is that overfitting often co-occurs with the empirical risk going negative, which is not legitimate. Therefore, we propose to wrap the terms that cause a negative empirical risk by certain correction functions. Then, we prove the consistency of the corrected risk estimator and derive an estimation error bound for the corrected risk minimizer. Experiments show that our proposal can successfully mitigate overfitting of the UU method and significantly improve the classification accuracy.

研究动机与目标

• 解决最近一种基于不同类别先验的两个无标签数据集训练二分类器时出现的严重过拟合问题。
• 识别过拟合的根本原因，该原因与训练数据中负的样本风险在经验上同时发生。
• 开发一种一致的风险校正框架，防止负风险估计，同时保持模型容量。
• 证明校正后风险估计器的一致性，并推导其最小化器的估计误差界。
• 通过实证验证，该校正方法可有效缓解过拟合，并在多种模型、优化器和数据集上提升测试准确率。

提出的方法

• 提出一种校正函数，用于包裹导致样本风险为负的项，确保其非负。
• 定义一个在弱正则条件下保持一致性的校正后风险估计器。
• 证明校正后风险估计器的理论一致性，并推导其最小化器的估计误差界。
• 将该校正方法应用于任何与标准样本风险最小化兼容的模型和优化器。
• 在训练中使用校正后的风险作为目标函数，有效正则化模型，同时不损失表征能力。
• 证明该校正方法在UU设置下比通用正则化方法（如Dropout、权重衰减）更有效。

实验结果

研究问题

• RQ1 为何原始的UU方法尽管基于无偏风险估计，仍会出现严重过拟合？
• RQ2 是否存在一种一致且理论基础坚实的方法，可在样本风险估计为负时进行校正？
• RQ3 能否利用负样本风险与过拟合同时发生的现象，设计出更鲁棒的训练目标？
• RQ4 所提出的校正方法是否能在多种模型和数据集上提升泛化性能？
• RQ5 在UU设置下，该方法与标准正则化技术（如Dropout和权重衰减）相比表现如何？

主要发现

• 所提出的校正方法在多个数据集、模型、优化器和损失函数上，成功缓解了UU分类中的过拟合问题。
• 实验观察到负样本风险与严重过拟合之间存在强烈共现关系，验证了核心假设。
• 校正后的风险估计器具有理论一致性，其最小化器的估计误差有界。
• 实验结果表明，与原始UU方法及标准正则化技术相比，测试准确率有显著提升。
• 通用正则化方法（如Dropout、权重衰减）在UU设置下无法缓解过拟合，而所提出的校正方法则专门针对该问题进行了设计。
• 与标准正则化相比，该校正方法更好地保持了模型容量，在有效减少过拟合的同时避免了欠拟合。