[论文解读] Decoupled Certainty-Driven Consistency Loss for Semi-supervised Learning

Lu Liu, Yiting Li+1 more|arXiv (Cornell University)|Jan 17, 2019

Domain Adaptation and Few-Shot Learning参考文献 55被引用 16

一句话总结

本文提出了一种基于确定性的一致性损失（CCL），通过在一致性正则化过程中动态过滤或降低不确定教师预测的影响，从而提升半监督学习性能。通过解耦模型差异并利用预测不确定性，CCL在SVHN、CIFAR-10和CIFAR-100上实现了最先进性能，优于现有的基于一致性的方法。

ABSTRACT

One of the successful approaches in semi-supervised learning is based on the consistency regularization. Typically, a student model is trained to be consistent with teacher prediction for the inputs under different perturbations. To be successful, the prediction targets given by teacher should have good quality, otherwise the student can be misled by teacher. Unfortunately, existing methods do not assess the quality of the teacher targets. In this paper, we propose a novel Certainty-driven Consistency Loss (CCL) that exploits the predictive uncertainty in the consistency loss to let the student dynamically learn from reliable targets. Specifically, we propose two approaches, i.e. Filtering CCL and Temperature CCL to either filter out uncertain predictions or pay less attention on them in the consistency regularization. We further introduce a novel decoupled framework to encourage model difference. Experimental results on SVHN, CIFAR-10, and CIFAR-100 demonstrate the advantages of our method over a few existing methods.

研究动机与目标

• 解决现有的一致性正则化方法中对所有教师预测同等对待、不考虑其可靠性的问题。
• 通过根据预测不确定性动态调整教师预测的影响，提升模型泛化能力。
• 设计一种解耦框架，促进学生与教师网络之间的有意义差异。
• 降低因低质量或不确定的教师预测导致的模型性能退化风险。

提出的方法

• 提出一种基于确定性的自适应一致性损失（CCL），根据教师输出的预测不确定性调节一致性损失。
• 提出两种变体：过滤CCL（通过从损失计算中移除不确定预测）和温度CCL（使用温度缩放的软标签降低不确定预测的损失权重）。
• 采用解耦训练框架，促进学生与教师模型之间的差异，防止共适应并提升鲁棒性。
• 利用基于熵的不确定性估计识别低置信度预测，指导一致性正则化过程。
• 应用数据增强生成输入的扰动视图，用于强制学生预测与过滤或加权后的教师输出保持一致。
• 使用标签数据上的监督损失和同时作用于标签与未标签数据的不确定性感知一致性损失联合训练学生模型。

实验结果

研究问题

• RQ1 预测不确定性能否被有效利用以提升半监督学习中一致性正则化的可靠性？
• RQ2 对不确定教师预测进行过滤或降权处理，如何影响模型的泛化能力和鲁棒性？
• RQ3 一种鼓励模型差异的解耦训练框架，是否能提升半监督学习中的性能表现？
• RQ4 所提出的CCL方法在标准基准上的性能相比现有基于一致性的方法提升程度如何？

主要发现

• 所提出的基于确定性的自适应一致性损失（CCL）通过聚焦高质量教师预测，显著提升了半监督学习性能。
• 过滤CCL与温度CCL均通过降低不确定或噪声教师输出的影响，实现更好的泛化性能。
• 解耦框架增强了模型多样性并防止共适应，显著提升了所有评估数据集上的准确率。
• 在CIFAR-10上，该方法在标准半监督学习设置下达到最先进性能，优于先前基于一致性的方法。
• 该方法在SVHN和CIFAR-100上也表现出一致的性能增益，验证了其在不同数据分布和标签稀缺水平下的鲁棒性。
• 实验结果表明，不确定性感知的一致性正则化可带来更可靠且稳定的训练动态。