[论文解读] Strength from Weakness: Fast Learning Using Weak Supervision

Joshua Robinson, Stefanie Jegelka+1 more|arXiv (Cornell University)|Feb 19, 2020

Domain Adaptation and Few-Shot Learning参考文献 65被引用 5

一句话总结

本文提出了一套弱监督学习的理论框架，表明大量弱标签可加速在少量强标签上的学习，实现 $Ó(1/n)$ 的快速泛化率，而非标准的 $Ó(1/√n)$。该方法利用弱标签数据的特征迁移，性能随弱数据量和任务相关性的连续变化而变化，已在视觉任务中通过实证验证。

ABSTRACT

We study generalization properties of weakly supervised learning. That is, learning where only a few "strong" labels (the actual target of our prediction) are present but many more "weak" labels are available. In particular, we show that having access to weak labels can significantly accelerate the learning rate for the strong task to the fast rate of $\mathcal{O}( icefrac1n)$, where $n$ denotes the number of strongly labeled data points. This acceleration can happen even if by itself the strongly labeled data admits only the slower $\mathcal{O}( icefrac{1}{\sqrt{n}})$ rate. The actual acceleration depends continuously on the number of weak labels available, and on the relation between the two tasks. Our theoretical results are reflected empirically across a range of tasks and illustrate how weak labels speed up learning on the strong task.

研究动机与目标

• 建立仅存在少量强标签情况下的弱监督学习理论基础。
• 研究大量弱标签是否可证明提升强标签任务的学习性能。
• 利用中心条件量化弱任务与强任务之间的关系，从而推导泛化界。
• 证明从弱数据中学习的特征可实现比仅使用强标签更快的收敛速率。
• 通过多个视觉基准上的实证结果验证理论发现。

提出的方法

• 提出一种通用的特征学习算法，该算法在弱标签上进行训练，并将学到的特征迁移到强标签任务上。
• 引入中心条件作为任务相关性的正式度量，确保共享嵌入能同时提升两个任务的性能。
• 推导强标签任务的泛化界，其依赖于弱数据量 ($m$) 相对于强数据量 ($n$) 的增长速率。
• 在分析中使用 Cramér-Chernoff 浓度不等式来控制超额风险。
• 采用两阶段训练策略：先在 $m$ 个弱标签上预训练弱模型，然后固定其特征，再在 $n$ 个强标签上微调强模型。
• 使用基于 ResNet 的特征提取器和全连接头，在 MNIST、SVHN、CIFAR-10 和 CIFAR-100 上进行受控数据划分的实验验证。

实验结果

研究问题

• RQ1 弱监督是否能显著加速在少量强标签上的学习？
• RQ2 在何种条件下弱监督可导致快速泛化率而非慢速率？
• RQ3 弱数据量及其与强任务的相关性如何影响学习速度？
• RQ4 当仅使用强标签时泛化误差为 $\mathcal{O}(1/\sqrt{n})$，能否通过弱标签数据的特征迁移实现 $\mathcal{O}(1/n)$ 的泛化误差？
• RQ5 何种理论条件可确保从弱数据中学到的特征仍能有益于强任务？

主要发现

• 当弱标签数量 $m$ 随强标签数量 $n$ 的平方增长时，强任务可实现 $\widetilde{\mathcal{O}}(1/n)$ 的快速率，显著优于标准的 $\mathcal{O}(1/\sqrt{n})$ 速率。
• 强任务的泛化误差平滑地在慢速率与快速率之间过渡，取决于 $m$ 和弱任务的泛化误差。
• 当 $m = \Omega(n^2)$ 且弱任务的超额风险为 $\mathcal{O}(1/\sqrt{m})$ 时，强任务可实现 $\widetilde{\mathcal{O}}(1/n)$ 的超额风险，证明了性能的可证明加速。
• 中心条件确保存在一个共享的特征嵌入，其在两个任务上均表现良好，尽管该嵌入在事前不可观测。
• 实证结果证实，理论预测的快速率在 MNIST、SVHN、CIFAR-10 和 CIFAR-100 上均可观测到，且弱监督带来一致的性能提升。
• 即使使用更小的弱网络架构，该方法仍保持鲁棒性，表明加速效果并非依赖于模型大小，而是取决于数据量和任务相关性。