[论文解读] Learning to Learn from Weak Supervision by Full Supervision

Mostafa Dehghani, Aliaksei Severyn+2 more|arXiv (Cornell University)|Nov 30, 2017

Machine Learning and Data Classification参考文献 4被引用 38

一句话总结

该论文提出了一种联合学习框架，利用弱标签数据训练目标神经网络，同时借助在少量真实标签上训练的置信度网络，根据标签可靠性动态调整梯度更新。该方法显著提升了性能和收敛速度，在情感分类基准上实现了最先进结果，通过更有效地过滤噪声监督信号。

ABSTRACT

In this paper, we propose a method for training neural networks when we have a large set of data with weak labels and a small amount of data with true labels. In our proposed model, we train two neural networks: a target network, the learner and a confidence network, the meta-learner. The target network is optimized to perform a given task and is trained using a large set of unlabeled data that are weakly annotated. We propose to control the magnitude of the gradient updates to the target network using the scores provided by the second confidence network, which is trained on a small amount of supervised data. Thus we avoid that the weight updates computed from noisy labels harm the quality of the target network model.

研究动机与目标

• 解决在仅有少量真实标签数据与大量弱标签数据共存时，训练鲁棒神经网络的挑战。
• 缓解训练过程中噪声或不可靠弱标签对模型性能的负面影响。
• 通过基于估计置信度动态控制每个弱标签样本的影响，提升泛化能力和收敛速度。
• 将置信度估计与模型训练统一为一个端到端可微的联合框架。

提出的方法

• 该方法以多任务方式训练两个神经网络：用于主任务的目标网络和作为元学习器的置信度网络。
• 置信度网络在少量人工标注数据上进行训练，以预测弱标签的置信度分数。
• 在反向传播过程中，目标网络的权重更新幅度根据每个样本的置信度分数进行缩放，使用如下公式：$\boldsymbol{w}_{t+1} = \boldsymbol{w}_{t} - \frac{\eta_{t}}{b}\sum_{i=1}^{b}c_{\theta}(x_{i},\tilde{y}_{i})\nabla\mathcal{L}(f_{\boldsymbol{w_{t}}}(x_{i}),\tilde{y_{i}})$。
• 训练在大规模弱标签数据集$U$和小规模真实标签数据集$V$的批次之间交替进行，实现联合优化。
• 置信度网络作为元学习器，学习为每个样本校准学习率，从而有效充当噪声监督的动态过滤器。
• 该方法采用联合训练设置，弱数据中的共享表征学习提升了置信度网络的性能，优于独立训练。

实验结果

研究问题

• RQ1 在大规模弱标签数据上训练时，基于少量真实标签训练的置信度网络能否有效提升模型性能？
• RQ2 基于标签置信度动态缩放梯度更新是否能带来比标准微调更快的收敛速度和更好的泛化性能？
• RQ3 与独立训练相比，目标网络与置信度网络的联合训练在性能和收敛速度方面表现如何？
• RQ4 该方法能否优于现有通过重新估计标签（如NLI）或使用启发式标签推理的方法？

主要发现

• 所提出的L2LWS方法在SemEval-14（0.7362）和SemEval-15（0.6626）上实现了最先进的宏F1分数，优于所有基线模型，包括最佳报告系统。
• L2LWS相比仅使用弱监督（WSO）显著提升了性能，在SemEval-14上相对提升6.3%，在SemEval-15上提升6.9%。
• 尽管初始训练损失更高，但目标网络的验证损失下降速度更快，表明模型收敛更快。
• 独立训练变体（L2LWS_ST）的表现劣于联合训练版本，表明从弱数据中共享表征学习可提升置信度网络的质量。
• NLI基线的表现劣于L2LWS，表明学习如何过滤噪声标签比通过标签映射尝试纠正它们更有效。
• 该方法在使用更少真实标签样本的情况下，达到了弱标注者的表现水平，证明了对有限监督的高效利用。