[论文解读] Direct Uncertainty Prediction with Applications to Healthcare.
本文提出了一种直接预测监督学习中标签不一致（不确定性）的方法，通过直接训练模型预测不确定性分数，而非从分类器输出推导。该方法在合成数据和医疗保健应用中均优于两步法，显著提升了识别人类标注者之间高不一致性的能力。
Large labeled datasets for supervised learning are frequently constructed by assigning each instance to multiple human evaluators, and this leads to disagreement in the labels associated with a single instance. Here we consider the question of predicting the level of disagreement for a given instance, and we find an interesting phenomenon: direct prediction of uncertainty performs better than the two-step process of training a classifier and then using the classifier outputs to derive an uncertainty. We show stronger performance for predicting disagreement via this direct method both in a synthetic setting whose parameters we can fully control, and in a paradigmatic healthcare application involving multiple labels assigned by medical domain experts. We further show implications for allocating additional labeling effort toward instances with the greatest levels of predicted disagreement.
研究动机与目标
- 为解决大规模监督学习中多个标注者对同一实例分配标签时出现的标签不一致问题。
- 通过直接建模不一致性而非从分类器输出推断，提高不确定性估计的准确性。
- 通过识别预测不一致性最高的样本，实现标注资源的智能分配。
- 在受控的合成环境和真实世界医疗保健应用（使用专家标注的数据）中验证该方法。
提出的方法
- 训练深度神经网络，直接从输入特征预测不确定性分数，以多个标注者之间的不一致作为监督信号。
- 将不确定性定义为标注者之间标签分布的方差或熵，并在训练过程中作为目标信号使用。
- 采用多任务学习设置，使模型同时预测类别标签和不确定性分数。
- 使用结合交叉熵损失（用于分类）和回归损失（用于不确定性预测）的损失函数进行模型优化。
- 将训练好的模型应用于新样本的不确定性预测，从而优先对高不一致性样本进行重新评估。
- 将直接不确定性预测方法与两步基线方法（先训练分类器，再从输出推导不确定性）进行比较。
实验结果
研究问题
- RQ1直接不确定性预测是否优于先训练分类器再从其输出推导不确定性的两步方法？
- RQ2在具有已知不一致模式的受控合成环境中，该直接方法表现如何？
- RQ3该直接方法能否泛化到使用专家标注的医疗数据的真实世界医疗保健应用中？
- RQ4预测的不确定性在多大程度上能通过优先处理高不一致性样本，指导高效标注？
- RQ5不确定性预测质量对下游标注效率和数据质量有何影响？
主要发现
- 直接不确定性预测方法在合成数据和真实世界医疗保健数据集上，均显著优于两步法，能更准确地预测标签不一致性。
- 在合成环境中，直接方法在不确定性预测任务中获得了更高的AUC分数，表明其能更好地区分高不一致性样本。
- 在涉及多位专家标注的医学图像的医疗保健应用中，直接方法比两步法更准确地识别出高不一致性样本。
- 模型预测的不确定性分数与实际标注者之间的不一致性高度相关，验证了其可靠性。
- 预测不确定性较高的样本更可能包含标注错误，表明其在优先重新评估方面具有实用价值。
- 直接方法通过聚焦于最模糊的案例，减少了达到高质量数据所需的标注迭代次数。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。