[论文解读] Fast and Three-rious: Speeding Up Weak Supervision with Triplet Methods

Daniel Y. Fu, Mayee F. Chen+4 more|arXiv (Cornell University)|Feb 27, 2020

Machine Learning and Data Classification参考文献 56被引用 17

一句话总结

本文提出 FlyingSquid，一种弱监督框架，通过将潜在变量估计重新表述为一系列闭式三元组问题，将参数估计速度提升至先前方法的 170 倍，同时在基准数据集和视频分析任务上达到或超越最先进性能，且无需 SGD 调优或迭代优化。

ABSTRACT

Weak supervision is a popular method for building machine learning models without relying on ground truth annotations. Instead, it generates probabilistic training labels by estimating the accuracies of multiple noisy labeling sources (e.g., heuristics, crowd workers). Existing approaches use latent variable estimation to model the noisy sources, but these methods can be computationally expensive, scaling superlinearly in the data. In this work, we show that, for a class of latent variable models highly applicable to weak supervision, we can find a closed-form solution to model parameters, obviating the need for iterative solutions like stochastic gradient descent (SGD). We use this insight to build FlyingSquid, a weak supervision framework that runs orders of magnitude faster than previous weak supervision approaches and requires fewer assumptions. In particular, we prove bounds on generalization error without assuming that the latent variable model can exactly parameterize the underlying data distribution. Empirically, we validate FlyingSquid on benchmark weak supervision datasets and find that it achieves the same or higher quality compared to previous approaches without the need to tune an SGD procedure, recovers model parameters 170 times faster on average, and enables new video analysis and online learning applications.

研究动机与目标

• 解决现有弱监督方法依赖 SGD 或 Gibbs 采样等迭代优化所导致的计算效率低下问题。
• 为具有时间依赖性的复杂高维数据（如视频和流数据）提供快速、可扩展的弱监督方法。
• 开发一种在弱监督中实现潜在变量模型参数闭式解的方法，消除对迭代超参数调优的需求。
• 在模型误设条件下证明泛化误差界，并通过信息论下界建立样本最优性。
• 通过利用闭式三元组估计的高速特性，实现基于窗口的参数更新，支持在线学习。

提出的方法

• 该方法通过构建标注源的三元组，将潜在变量模型估计分解为最小子问题，将问题简化为求解具有闭式解的方程组。
• 对于一类二值 Ising 模型，该框架从三元组的一致与不一致中推导出线性方程组，并直接求解，无需迭代优化。
• 通过在所有可能的三元组上使用中位数或均值聚合来提高鲁棒性，尤其在部分标注源不提供任何标注（高弃权率）的情况下表现更优。
• 将参数估计集成到下游判别模型的训练循环中，支持端到端联合学习。
• 通过维护一个数据滑动窗口，并在每一步使用闭式三元组解重新估计参数，支持在线学习。
• 该方法在基准数据集和视频分析任务上进行了验证，展示了在速度和准确性方面的优势。

实验结果

研究问题

• RQ1 我们能否在弱监督中为潜在变量模型参数实现闭式解，从而消除对 SGD 等迭代优化的依赖？
• RQ2 在模型误设条件下，使用 FlyingSquid 训练的模型的泛化误差与完全监督学习相比如何？
• RQ3 该框架能否扩展到高维、具有时间依赖性的数据（如视频序列），而此前的方法因速度过慢而难以应用？
• RQ4 与单三元组选择相比，基于三元组的聚合是否能提升对噪声或弃权标注源的鲁棒性？
• RQ5 该框架能否在流式环境中支持低延迟参数更新的在线学习？

主要发现

• FlyingSquid 在平均情况下比先前的弱监督方法快 170 倍，且无需 SGD 超参数调优。
• 在基准文本分类任务上，FlyingSquid 达到或超越了先前最先进性能，F1 分数最高提升 4.9 个百分点。
• 通过使用均值聚合，该方法在高弃权率下仍保持强性能，其鲁棒性优于中位数聚合，尤其在大量三元组产生零准确率时。
• 消融研究显示，将弃权样本随机替换为随机投票会严重降低性能，而单三元组选择则导致高方差和不稳定性。
• FlyingSquid 通过支持训练循环内的实时参数更新，使视频分析和在线学习等新应用成为可能。
• 理论分析表明，泛化误差的渐近增长速率与监督学习相同，且该方法在常数因子范围内达到样本最优。