[论文解读] Dual Teaching: A Practical Semi-supervised Wrapper Method

Fuqiang Liu, Chenwei Deng+2 more|arXiv (Cornell University)|Nov 12, 2016

Face and Expression Recognition参考文献 17被引用 6

一句话总结

本文提出Dual Teaching，一种实用的半监督封装方法，通过使用两个外部分类器——FP教师和FN教师——来纠正未标记样本的误分类，从而提升基础学习器的性能。通过确保每个教师的召回率 > 0 且联合精确率 > 1，Dual Teaching在仅使用少量标注数据的情况下仍能显著提升性能，在72.3%的实验场景中优于自训练、协同训练以及S3VM/S4VM方法，并且在20%标注数据条件下与完全监督模型性能相当，适用于多种数据集。

ABSTRACT

Semi-supervised wrapper methods are concerned with building effective supervised classifiers from partially labeled data. Though previous works have succeeded in some fields, it is still difficult to apply semi-supervised wrapper methods to practice because the assumptions those methods rely on tend to be unrealistic in practice. For practical use, this paper proposes a novel semi-supervised wrapper method, Dual Teaching, whose assumptions are easy to set up. Dual Teaching adopts two external classifiers to estimate the false positives and false negatives of the base learner. Only if the recall of every external classifier is greater than zero and the sum of the precision is greater than one, Dual Teaching will train a base learner from partially labeled data as effectively as the fully-labeled-data-trained classifier. The effectiveness of Dual Teaching is proved in both theory and practice.

研究动机与目标

• 解决半监督封装方法中理论假设与实际可行性之间的差距。
• 开发一种假设易于验证且符合实际的实用方法，以支持现实世界中的部署。
• 实现在不依赖复杂假设或特殊数据结构的前提下，实现有效的半监督学习。
• 确保基础学习器在训练过程中不会退化，相对于完全标注的基线模型保持安全性。
• 提供一个灵活的框架，可兼容任何监督学习器作为基础模型。

提出的方法

• Dual Teaching使用两个外部分类器：FP教师从基础学习器的正样本预测中识别假阳性样本，FN教师从负样本预测中识别假阴性样本。
• 在每次训练迭代中，基础学习器对未标记数据进行分类，两个教师在保留的标注数据集上进行验证，以确保其召回率 > 0 且联合精确率 > 1。
• 若假设成立，则教师对误分类样本进行标注，并将这些样本连同修正后的标签加入重训练集。
• 基础学习器在所有先前误分类样本（已修正标签）上重新训练，实现性能的迭代提升。
• 若教师未达到性能阈值，则使用剩余的标注数据对其进行调优，以确保假设的持续有效性。
• 该过程递归进行，只要教师假设保持成立，基础学习器便持续改进。

实验结果

研究问题

• RQ1 能否设计一种半监督封装方法，其假设在现实场景中具有实际可行性？
• RQ2 在部分标注数据上训练的基础学习器，其性能是否可与完全监督模型相当？
• RQ3 Dual Teaching在多种数据集和基础学习器上是否能保持或提升性能？
• RQ4 与自训练、协同训练以及S3VM/S4VM等高效半监督方法相比，Dual Teaching在有效性和安全性方面表现如何？
• RQ5 该方法是否可安全应用，而不会导致性能劣于仅使用标注数据的监督学习？

主要发现

• 在324次实验（3种基础学习器 × 12个数据集 × 9种标签比例）中，Dual Teaching在72.3%的场景下优于其他半监督方法，仅在2.8%的场景中表现较差。
• 在11个案例中，Dual Teaching被完全标注的基线模型超越，表明其整体性能强大。
• 对于几乎所有数据集和基础学习器，当仅使用20%的数据进行标注时，Dual Teaching的性能已与完全标注训练相当。
• 该方法保持了安全性：当两个教师的召回率均为0时，重训练集趋于稳定，基础学习器不再退化。
• 与S3VM和S4VM相比，Dual Teaching在5%、10%和20%标注数据比例下均表现出具有竞争力的准确率提升，且对不同基础学习器具有更好的适应性。
• 只要精确率和召回率假设成立，该框架对教师性能随时间下降具有鲁棒性，确保了稳定的性能提升。