[论文解读] Disambiguation of weak supervision with exponential convergence rates

Vivien Cabannes, Francis R. Bach+1 more|arXiv (Cornell University)|Feb 4, 2021

Auction Theory and Applications参考文献 50被引用 5

一句话总结

本文提出了一种在部分标注设定下进行弱监督学习的消歧算法，其中每个输入仅提供候选标签集合。通过利用最近邻方法并采用反馈边集问题的凸松弛，该方法在标准可学习性假设下实现了过剩风险的指数级收敛速率，显著提升了弱监督下的泛化性能。

ABSTRACT

Machine learning approached through supervised learning requires expensive annotation of data. This motivates weakly supervised learning, where data are annotated with incomplete yet discriminative information. In this paper, we focus on partial labelling, an instance of weak supervision where, from a given input, we are given a set of potential targets. We review a disambiguation principle to recover full supervision from weak supervision, and propose an empirical disambiguation algorithm. We prove exponential convergence rates of our algorithm under classical learnability assumptions, and we illustrate the usefulness of our method on practical examples.

研究动机与目标

• 解决在每个输入仅提供候选标签集合（即部分标签）的弱监督数据学习挑战。
• 开发一种消歧算法，从这些部分标签中恢复完整监督信号，以支持标准监督学习方法的应用。
• 建立理论收敛保证，证明在经典可学习性假设下，过剩风险衰减达到指数级速率。
• 尽管消歧问题本质上具有非凸性，仍提供实用的实现指南。

提出的方法

• 该方法基于最近邻原则，从候选标签集合中推断最可能的真实标签。
• 将消歧任务建模为NP难的最小反馈边集问题的凸松弛，确保优化过程可 tractable（可处理）。
• 通过基于核的加权方案（如Nadaraya-Watson）求解加权推理问题，为候选标签分配置信度分数。
• 采用交替优化策略以优化消歧目标，平衡标签一致性与数据保真度。
• 通过Kendall嵌入将该方法扩展至排序任务，使用线性规划（LP）松弛以强制执行传递性约束。
• 通过交叉验证对超参数（如$σ$和$λ$）进行调优，在不同水平的标签污染下均表现出稳健性能。

实验结果

研究问题

• RQ1 在部分标注设定下，对弱监督数据进行消歧时，能否实现过剩风险的指数级收敛速率？
• RQ2 如何设计一种既有效又具有理论基础的实用消歧算法，尽管该问题本质上是非凸的？
• RQ3 该消歧方法在不同弱监督设定（如具有部分序的分类与排序任务）下的泛化能力如何？
• RQ4 低密度分离与聚类结构等结构性假设在算法性能中起到何种作用？

主要发现

• 所提出的消歧算法在标准可学习性假设下实现了过剩风险的指数级收敛速率，显著优于弱监督中常见的次指数级速率。
• 实验结果表明，该方法在分类与排序任务中均表现稳健，交叉验证误差与测试误差之间的差距极小。
• 即使在高标签污染条件下，该方法仍保持强大泛化能力，当多达50%的Kendall嵌入坐标丢失时，性能依然稳定。
• 使用LP松弛处理反馈边集问题时，当标签数量$m \leq 6$时可实现精确恢复，验证了该方法的理论合理性。
• 计算开销可忽略不计，完整实验（包括交叉验证）在标准笔记本电脑上运行时间不足70秒。
• 该算法表现出正则化特性，无需显式建模即可有效捕捉数据中的潜在聚类结构。