[论文解读] Learnability with Indirect Supervision Signals

Kaifu Wang, Ning Qiang+1 more|arXiv (Cornell University)|Jun 15, 2020

Machine Learning and Algorithms参考文献 35被引用 4

一句话总结

本文提出了一种统一的理论框架，用于在间接监督下进行多分类学习，其中标签通过具有未知、不可逆且实例相关的转换的噪声或部分信号推断得出。核心贡献是引入了“分离”概念——一种衡量标签分布之间统计距离的指标，用于表征可学习性与泛化能力，在对转换知识的假设最少的前提下，实现可证明的学习界。

ABSTRACT

Learning from indirect supervision signals is important in real-world AI applications when, often, gold labels are missing or too costly. In this paper, we develop a unified theoretical framework for multi-class classification when the supervision is provided by a variable that contains nonzero mutual information with the gold label. The nature of this problem is determined by (i) the transition probability from the gold labels to the indirect supervision variables and (ii) the learner's prior knowledge about the transition. Our framework relaxes assumptions made in the literature, and supports learning with unknown, non-invertible and instance-dependent transitions. Our theory introduces a novel concept called \emph{separation}, which characterizes the learnability and generalization bounds. We also demonstrate the application of our framework via concrete novel results in a variety of learning scenarios such as learning with superset annotations and joint supervision signals.

研究动机与目标

• 形式化当真实标签不可用、仅存在间接监督信号时，多分类学习的一般性框架。
• 通过允许真实标签与监督信号之间存在未知、不可逆且实例相关的转换概率，放宽文献中既有的假设。
• 识别成功学习所需关于转换过程的最小先验知识。
• 通过一种新的理论构造——“分离”——表征此类问题的可学习性。
• 提供泛化界及一致学习可能的条件，即使监督信号不完美。

提出的方法

• 该框架使用转换概率分布建模真实标签与间接监督信号之间的关系，且不假设该分布完全已知。
• 引入“转换类别”概念，以表示候选转换的集合，从而实现灵活的先验知识表示。
• 定义一种新的理论构造——“分离”，即由不同真实标签诱导的监督信号分布之间的统计距离（例如总变差或KL散度）。
• 利用分离来量化学习问题的一致性与可识别性，确保不同标签可通过监督信号加以区分。
• 通过将理论界分解为三个组成部分（复杂度、一致性、可识别性）推导出界，从而得出统一的泛化界（定理4.2）。
• 将该框架应用于具体场景，如超集标注与联合监督，其中通过总变差或联合信号分布实现分离。

实验结果

研究问题

• RQ1 在仅存在间接监督信号时，多分类分类器在何种条件下可实现一致学习？
• RQ2 关于真实标签到监督信号的转换过程，需要何种程度的先验知识才能保证可学习性？
• RQ3 如何形式化地量化并界定从间接监督中学习的难度？
• RQ4 能否开发一个统一的理论框架，涵盖现有设置（如标签噪声与部分标注）？
• RQ5 监督信号的结构（例如超集、联合信号）如何影响可学习性与泛化性能？

主要发现

• 本文建立了统一的泛化界（定理4.2），将可学习性分解为复杂度、一致性和可识别性三个部分。
• 正式定义了“分离”概念，并证明其是可识别性与一致性的充分条件，且分离的下界可确保泛化性能。
• 对于超集标注，本文表明可通过不同可能标注分布之间的总变差距离实现分离。
• 在联合监督场景中，当多个间接信号可用时，该框架证明即使单个信号模糊不清，通过组合信号仍可实现分离。
• 本文表明，若监督信号的支持以掩盖标签信息的方式重叠（例如，当两名噪声标注者产生对称信号时），则分离可能完全消失，导致学习不可能。
• 提供了一个反例，表明即使单个信号可分离，若在未区分来源的情况下混合它们，仍可能完全破坏所有分离，使信号变得无信息。