[论文解读] An Unbiased Risk Estimator for Learning with Augmented Classes

Yujie Zhang, Peng Zhao+1 more|arXiv (Cornell University)|Oct 21, 2019

Machine Learning and Algorithms参考文献 47被引用 9

一句话总结

该论文提出Eulac，一种用于增强类别学习（LAC）的新方法，利用未标记训练数据在类别偏移条件下构建测试分布上的无偏风险估计器。通过将测试分布建模为已知类别与增强类别分布的混合，Eulac实现了理论支持的泛化，具备一致性和泛化误差界，相较于几何方法和启发式方法，在存在先验偏移的复杂动态环境中表现更优。

ABSTRACT

This paper studies the problem of learning with augmented classes (LAC), where augmented classes unobserved in the training data might emerge in the testing phase. Previous studies generally attempt to discover augmented classes by exploiting geometric properties, achieving inspiring empirical performance yet lacking theoretical understandings particularly on the generalization ability. In this paper we show that, by using unlabeled training data to approximate the potential distribution of augmented classes, an unbiased risk estimator of the testing distribution can be established for the LAC problem under mild assumptions, which paves a way to develop a sound approach with theoretical guarantees. Moreover, the proposed approach can adapt to complex changing environments where augmented classes may appear and the prior of known classes may change simultaneously. Extensive experiments confirm the effectiveness of our proposed approach.

研究动机与目标

• 为解决增强类别学习（LAC）中缺乏理论理解的问题，特别是关于泛化能力的问题。
• 通过利用未标记数据估计未见类别的分布，建立已知类别与增强类别之间的关系建模。
• 在温和假设下，开发具备理论保证的方法——包括渐近一致性和非渐近泛化误差界。
• 实现对已知类别和增强类别同时变化的复杂环境的适应能力。
• 实现标准交叉验证用于超参数选择，克服现有基于几何的LAC方法的关键局限。

提出的方法

• 引入类别偏移条件，将测试分布建模为已知类别与增强类别分布的混合，从而实现从训练数据中估计风险。
• 利用未标记数据估计增强类别的分布，通过分布建模将之与已知类别分布分离。
• 通过在测试分布上最小化估计风险，结合已标记和未标记数据，构建LAC问题的无偏经验风险估计器。
• 提出Eulac（利用未标记数据进行增强类别学习）框架，在类别偏移假设下最小化无偏风险估计器。
• 通过引入重加权技术，将Eulac扩展以处理已知类别的先验偏移，从而得到Eulac-shift，提升鲁棒性。
• 采用基于核的假设集与平方损失，使用标准深度学习流水线（包括Adam优化和混合比例的网格搜索）进行优化。

实验结果

研究问题

• RQ1 在温和假设下，仅使用未标记训练数据，能否在LAC问题中构建测试分布的无偏风险估计器？
• RQ2 所提出的方法在存在增强类别时，是否能实现理论保证，包括一致性和泛化误差界？
• RQ3 该方法能否适应已知类别的先验和增强类别同时变化的环境？
• RQ4 使用未标记数据如何影响泛化误差？是否能带来神经网络训练中更好的收敛性和性能？
• RQ5 在LAC中，能否有意义地应用标准交叉验证进行超参数选择，而不同于大多数现有基于几何的方法？

主要发现

• Eulac实现了渐近一致性与非渐近泛化误差界，且误差随未标记样本数量的增加而减小。
• 该方法实现了有效的交叉验证用于超参数调优，而大多数基于几何的LAC方法依赖启发式参数选择。
• 在SVHN数据集上，混合比例为0.9时AUC最高（90.2 ± 2.8），训练损失降至45.4 ± 1.2，表明更高的混合比例有助于更好的收敛。
• 在CIFAR-10数据集上，Eulac在混合比例为0.9时AUC达到98.6 ± 0.6，优于基线方法，在检测增强类别方面表现更优。
• Eulac-shift（考虑先验偏移）在复杂变化环境中显著优于Eulac-base和OVR-shift，展现出对分布偏移的强鲁棒性。
• 泛化误差界分析证实，未标记数据可提升泛化性能，验证了所提风险估计器的理论优势。