[论文解读] BCCNet: Bayesian classifier combination neural network

Olga Isupova, Yunpeng Li+4 more|arXiv (Cornell University)|Nov 29, 2018

Anomaly Detection Techniques and Applications参考文献 1被引用 7

一句话总结

BCCNet 是一种新颖的神经网络框架，通过混合变分贝叶斯与最大似然方法，联合训练深度分类器并校正有偏见、不一致的众包标签。该方法在真实世界灾害响应与疟疾预防应用中，对类别不平衡、噪声较大的数据表现出卓越的准确率与稳定性，优于基线模型，在损毁检测与蚊子声音分类任务中均表现更优。

ABSTRACT

Machine learning research for developing countries can demonstrate clear sustainable impact by delivering actionable and timely information to in-country government organisations (GOs) and NGOs in response to their critical information requirements. We co-create products with UK and in-country commercial, GO and NGO partners to ensure the machine learning algorithms address appropriate user needs whether for tactical decision making or evidence-based policy decisions. In one particular case, we developed and deployed a novel algorithm, BCCNet, to quickly process large quantities of unstructured data to prevent and respond to natural disasters. Crowdsourcing provides an efficient mechanism to generate labels from unstructured data to prime machine learning algorithms for large scale data analysis. However, these labels are often imperfect with qualities varying among different citizen scientists, which prohibits their direct use with many state-of-the-art machine learning techniques. We describe BCCNet, a framework that simultaneously aggregates biased and contradictory labels from the crowd and trains an automatic classifier to process new data. Our case studies, mosquito sound detection for malaria prevention and damage detection for disaster response, show the efficacy of our method in the challenging context of developing world applications.

研究动机与目标

• 解决在非专家标注者提供的噪声大、不一致且稀疏的众包标签上训练可靠机器学习模型的挑战。
• 开发一种可扩展、可部署的系统，为发展中国家政府与非政府组织合作伙伴提供及时、可操作的洞察。
• 利用混合变分贝叶斯与最大似然框架，联合学习神经网络参数与分类器混淆矩阵。
• 在真实世界中类别不平衡、标签噪声高的数据集（如灾害后卫星图像与携带疟疾的蚊子声音记录）上展示稳健性能。
• 通过将模型集成到联合国、FEMA 与非政府组织使用的实际响应流程中，确保可持续影响。

提出的方法

• BCCNet 将神经网络与贝叶斯分类器融合（BCC）算法结合，同时建模对象分类与基础分类器的可靠性。
• 采用图模型，其中每个数据点的真实类别通过神经网络推断，而每位众包工作者的标签则被建模为受混淆矩阵控制的噪声观测。
• 该方法使用变分贝叶斯近似估算类别标签与混淆矩阵的后验分布，对混淆矩阵行施加狄利克雷先验。
• 采用混合优化策略，结合随机梯度上升优化神经网络权重与坐标上升优化变分参数，以最大化证据下界（ELBO）。
• 通过合理的不确定性建模，该框架能优雅地处理缺失标签，并对标签稀疏性与类别不平衡具有鲁棒性。
• 通过最大似然与变分推断的结合实现端到端训练，支持模型与标签聚合的联合优化。

实验结果

研究问题

• RQ1 是否可以在无需干净真实标签的情况下，有效训练深度神经网络以处理高度噪声、稀疏且不一致的众包标签？
• RQ2 与直接使用原始众包标签训练相比，联合学习分类器混淆矩阵与神经网络参数在性能上有多大的提升？
• RQ3 在灾害响应与疾病监测等真实应用场景中，BCCNet 在多大程度上能处理类别不平衡与标签稀疏性问题？
• RQ4 在标签不确定性条件下，变分贝叶斯方法与期望最大化方法在稳定性与准确性方面有何对比？
• RQ5 该框架是否可实际部署，以向人道主义与公共卫生应用场景提供及时、可操作的洞察？

主要发现

• 在灾害损毁检测任务中，BCCNet 的变分贝叶斯（VB）算法在所有马尔可夫链蒙特卡洛运行中均达到最高且最稳定的分类准确率，优于众包层网络与基于 EM 的变体。
• 在蚊子声音检测任务中，BCCNet 的 VB 算法实现了所有方法中最高的中位 F1 值（0.82）与最低的方差，展现出在类别不平衡数据上的稳健性。
• 仅使用众包层网络的模型因类别不平衡而完全无法检测蚊子声音，所有运行中均一致预测为“无蚊子”，凸显了标签校正的必要性。
• 基于 EM 的 BCCNet 相较于基线众包层网络在稳定性和准确性上有所提升，但 VB 变体在两个数据集上均表现最佳。
• BCCNet 有效处理了来自超过 1,200 名公民科学家的稀疏、噪声标签，并生成了可操作的损毁热力图，供联合国、FEMA 与 60 多家非政府组织在飓风艾米莉与玛丽亚应对中使用。
• 该框架与 Zooniverse 和 Rescue Global 合作实现实际部署，成为行星响应网络的一部分，此后已应用于非洲、南美洲与东南亚的灾害与环境监测。