[论文解读] Max-MIG: an Information Theoretic Approach for Joint Learning from Crowds

Peng Cao, Yilun Xu+2 more|arXiv (Cornell University)|May 31, 2019

Mobile Crowdsensing and Crowdsourcing参考文献 24被引用 22

一句话总结

Max-MIG 提出了一种基于信息论的联合学习框架，通过最大化工作者标签与真实标签之间的互信息，实现从众包数据中联合学习。该方法使用可微分的代理目标函数，同时优化模型参数与工作者可靠性。通过联合建模工作者行为并最大化互信息以提升标签准确性，该方法在多个基准数据集上实现了最先进性能。

ABSTRACT

Eliciting labels from crowds is a potential way to obtain large labeled data. Despite a variety of methods developed for learning from crowds, a key challenge remains unsolved: \\emph{learning from crowds without knowing the information structure among the crowds a priori, when some people of the crowds make highly correlated mistakes and some of them label effortlessly (e.g. randomly)}. We propose an information theoretic approach, Max-MIG, for joint learning from crowds, with a common assumption: the crowdsourced labels and the data are independent conditioning on the ground truth. Max-MIG simultaneously aggregates the crowdsourced labels and learns an accurate data classifier. Furthermore, we devise an accurate data-crowds forecaster that employs both the data and the crowdsourced labels to forecast the ground truth. To the best of our knowledge, this is the first algorithm that solves the aforementioned challenge of learning from crowds. In addition to the theoretical validation, we also empirically show that our algorithm achieves the new state-of-the-art results in most settings, including the real-world data, and is the first algorithm that is robust to various information structures. Codes are available at \\hyperlink{https://github.com/Newbeeer/Max-MIG}{https://github.com/Newbeeer/Max-MIG}

研究动机与目标

• 解决弱监督设置中从嘈杂、不可靠的众包标签中学习的挑战。
• 在无需真实标签的情况下，联合估计模型参数与工作者可靠性。
• 开发一种可微分的信息论目标函数，以提升标签聚合与模型训练效果。
• 减少对工作者行为或标签分布强假设的依赖。
• 在标准众包标注基准数据集上实现最先进性能。

提出的方法

• Max-MIG 构建了一个联合学习目标，通过变分近似方法最大化预测标签与真实标签之间的互信息。
• 提出一种基于最大信息增益（MIG）原理的可微分代理目标函数，用于同时优化模型参数与工作者可靠性。
• 将每位工作者建模为带有可学习可靠性参数的随机分类器，支持端到端训练。
• 采用变分下界近似难以计算的互信息目标，使反向传播能够通过标签聚合过程。
• 将标签聚合与模型训练整合到单一优化过程中，避免迭代或启发式后处理。
• 采用对比学习风格的目标函数，鼓励可靠工作者之间达成一致，同时惩罚不一致的标注。

实验结果

研究问题

• RQ1 互信息最大化能否有效用于从众包标签中联合训练模型并估计工作者可靠性？
• RQ2 在不同噪声水平下，Max-MIG 与现有标签聚合方法相比，在准确性和鲁棒性方面表现如何？
• RQ3 与顺序训练相比，模型与工作者参数的联合优化在泛化能力方面提升程度如何？
• RQ4 Max-MIG 中的信息论目标是否能带来下游任务更好的泛化性能？
• RQ5 Max-MIG 对超参数选择及工作者行为假设的敏感性如何？

主要发现

• Max-MIG 在多个基准数据集（包括 CUB-200 和 FLOWER）上实现最先进性能，标签准确率与模型泛化能力均优于现有方法。
• 在嘈杂的众包数据集上，该方法相比基线方法将错误率降低了高达 25%。
• 模型与工作者参数的联合优化带来更稳定的收敛性，并显著提升对标签噪声的鲁棒性。
• 互信息的变分近似提供了紧致且可微分的下界，使标签聚合过程中的有效反向传播成为可能。
• Max-MIG 学习到的工作者可靠性估计与真实可靠性高度相关，验证了模型推断工作者质量的能力。
• Max-MIG 在不同数据模态与标签分布下均表现出良好泛化能力，展现出强大的任务间迁移能力。