[论文解读] Learning Dependency Structures for Weak Supervision Models

Paroma Varma, Frédéric Sala+3 more|arXiv (Cornell University)|Mar 14, 2019

Domain Adaptation and Few-Shot Learning参考文献 46被引用 14

一句话总结

本文提出了一种基于鲁棒PCA的方法，用于在弱监督学习中学习弱监督源之间的依赖结构，通过利用逆协方差矩阵中的稀疏性，实现次线性样本复杂度。在真实世界的关系抽取和图像分类任务中，该方法相比条件独立模型提升F1分数最高达4.64分，相比先前的结构学习方法提升最高达4.41分。

ABSTRACT

Labeling training data is a key bottleneck in the modern machine learning pipeline. Recent weak supervision approaches combine labels from multiple noisy sources by estimating their accuracies without access to ground truth labels; however, estimating the dependencies among these sources is a critical challenge. We focus on a robust PCA-based algorithm for learning these dependency structures, establish improved theoretical recovery rates, and outperform existing methods on various real-world tasks. Under certain conditions, we show that the amount of unlabeled data needed can scale sublinearly or even logarithmically with the number of sources $m$, improving over previous efforts that ignore the sparsity pattern in the dependency structure and scale linearly in $m$. We provide an information-theoretic lower bound on the minimum sample complexity of the weak supervision setting. Our method outperforms weak supervision approaches that assume conditionally-independent sources by up to 4.64 F1 points and previous structure learning approaches by up to 4.41 F1 points on real-world relation extraction and image classification tasks.

研究动机与目标

• 为解决在缺乏真实标签的情况下估计弱监督源之间依赖关系的挑战，这对准确的标签聚合至关重要。
• 通过利用依赖结构中的稀疏性，降低弱监督中结构学习的样本复杂度。
• 通过比假设条件独立更准确地建模相关联的弱监督源，提升下游模型性能。
• 在合理结构假设下，建立样本复杂度的理论边界，并展示更紧致的恢复速率。
• 在真实世界任务（如关系抽取和图像分类）中，优于现有的结构学习和弱监督方法。

提出的方法

• 该方法使用鲁棒主成分分析（RPCA）将弱监督源的逆协方差矩阵分解为稀疏分量（编码依赖关系）和低秩分量（源于对潜在真实标签的边际化）。
• 它利用协方差矩阵的有效秩，该秩可显著小于真实秩，从而推导出更紧致的理论样本复杂度边界。
• 该方法假设源之间的依赖关系形成具有强内部相关性的聚类，从而实现在源数量 $ m $ 上的次线性扩展。
• 它建立了理论恢复速率 $ \Omega(d^{2}m^{\tau}) $（其中 $ 0 < \tau < 1 $），在更强结构条件下为 $ \Omega(d^{2}\log m) $，与监督学习速率一致。
• 该方法在仅使用无标签数据和可观测源输出的无监督设置下应用，避免了对真实标签的需求。
• 它通过潜在变量建模扩展了先前工作，处理图形模型中的非单例分离集，推广了Loh和Wainwright（2015）的结果。

实验结果

研究问题

• RQ1 我们能否通过利用依赖模式中的稀疏性，在学习弱监督源之间的依赖结构时实现次线性样本复杂度？
• RQ2 协方差矩阵的有效秩如何影响弱监督中结构学习的理论样本复杂度？
• RQ3 与假设源之间条件独立相比，建模学习到的依赖关系是否能提升下游分类性能？
• RQ4 在F1分数和样本效率方面，该方法与先前的结构学习和弱监督方法相比表现如何？
• RQ5 弱监督设置下的信息论下限样本复杂度是多少？与监督学习设置相比如何？

主要发现

• 在合理的结构假设下，所提方法在源数量 $ m $ 上实现了次线性样本复杂度，具体为 $ \Omega(d^{2}m^{\tau}) $（其中 $ 0 < \tau < 1 $）。
• 在更强条件（即存在一个高度相关源的主导聚类）下，样本复杂度达到 $ \Omega(d^{2}\log m) $，与最优监督速率一致。
• 在真实世界任务中，相比假设弱监督源条件独立的模型，该方法F1分数最高提升4.64分。
• 在关系抽取和图像分类基准上，相比先前的结构学习方法，F1分数最高提升4.41分。
• 在IMDb和MS-COCO数据集上，与先前使用源代码分析的结构推理方法相比，该方法分别实现了最高3.91和4.41的F1分提升。
• 信息论下限表明，弱监督相比监督学习的额外成本很小，验证了所提方法的高效性。