[论文解读] Fidelity-Weighted Learning

Mostafa Dehghani, Arash Mehrjou+3 more|arXiv (Cornell University)|Nov 8, 2017

Machine Learning and Data Classification参考文献 72被引用 7

一句话总结

本文提出了一种保真度加权学习（Fidelity-Weighted Learning, FWL）方法，这是一种半监督的学生-教师框架，通过基于教师模型对标签质量的估计动态调整梯度更新，从而提升深度学习性能。FWL通过结合高质量标签与弱标签数据，在文档排序和情感分类任务中优于当前最先进方法，实现了对标签质量的感知式参数更新。

ABSTRACT

Training deep neural networks requires many training samples, but in practice training labels are expensive to obtain and may be of varying quality, as some may be from trusted expert labelers while others might be from heuristics or other sources of weak supervision such as crowd-sourcing. This creates a fundamental quality versus-quantity trade-off in the learning process. Do we learn from the small amount of high-quality data or the potentially large amount of weakly-labeled data? We argue that if the learner could somehow know and take the label-quality into account when learning the data representation, we could get the best of both worlds. To this end, we propose "fidelity-weighted learning" (FWL), a semi-supervised student-teacher approach for training deep neural networks using weakly-labeled data. FWL modulates the parameter updates to a student network (trained on the task we care about) on a per-sample basis according to the posterior confidence of its label-quality estimated by a teacher (who has access to the high-quality labels). Both student and teacher are learned from the data. We evaluate FWL on two tasks in information retrieval and natural language processing where we outperform state-of-the-art alternative semi-supervised methods, indicating that our approach makes better use of strong and weak labels, and leads to better task-dependent data representations.

研究动机与目标

• 为解决在真实世界场景中，当标注数据稀缺且质量参差不齐（如专家标注与弱标签共存）时，训练深度神经网络的挑战。
• 开发一种方法，能够在不假设所有标签均同样可靠的前提下，有效利用高质量标签与大规模弱标签数据。
• 通过将标签质量不确定性纳入学习过程，提升模型泛化能力与训练效率。
• 通过基于单个标签保真度动态调节训练更新，实现更优的数据表征学习。

提出的方法

• FWL采用学生-教师框架，其中学生网络在目标任务上使用强标签与弱标签联合训练。
• 教师网络通过访问少量高质量标签，估计每个弱标签的后验置信度，以评估其质量。
• 根据教师模型估计的标签保真度，对每个样本的梯度更新进行调制，降低低置信度标签的更新幅度。
• 学生与教师网络从数据中联合训练，教师模型在无需显式标签质量标注的情况下，学习评估标签可靠性。
• 该方法使用保真度加权损失，根据教师对每个标签置信度的高低，缩放参数更新，从而有效降低噪声或不确定预测的影响。
• 该框架被应用于文档排序与情感分类等任务，通过优先利用可靠监督信号，学习到鲁棒的表征。

实验结果

研究问题

• RQ1 深度学习模型能否有效结合少量高质量标签与大规模弱标签数据，以提升性能？
• RQ2 如何估计标签质量的不确定性，并将其整合到训练过程中以提升模型泛化能力？
• RQ3 基于标签保真度动态加权梯度更新，是否能带来比标准半监督学习方法更快的收敛速度与更优性能？
• RQ4 教师模型能否在仅使用少量强标签的前提下，无需显式质量标注，成功学习估计标签质量？

主要发现

• FWL在文档排序与情感分类任务中，优于当前最先进半监督学习方法。
• 通过降低低保真度标签的更新权重，FWL实现了更快的收敛速度与更优的泛化能力。
• 教师模型即使在仅使用少量强标签进行训练的情况下，也能高精度地学习估计标签质量。
• FWL表明，将标签置信度纳入更新规则，可获得比标准方法（对所有标签一视同仁）更优的数据表征。
• 实证结果表明，FWL在性能上显著优于基线方法，后者采用均匀加权或简单伪标签策略。