[论文解读] Employing Weak Annotations for Medical Image Analysis Problems

Martin Rajchl, Lisa M. Koch+5 more|arXiv (Cornell University)|Aug 21, 2017

Advanced Neural Network Applications参考文献 23被引用 10

一句话总结

本文提出一种弱监督肝脏分割方法，利用低专业度众包标注（如边界框、涂鸦、预分割）结合弱标注图谱进行异常值校正。尽管众包标注的错误率高达50%，该方法通过校正错误标签，实现了SOTA的DSC分数（>94%），从而实现从非专家众包中获得高精度分割。

ABSTRACT

To efficiently establish training databases for machine learning methods, collaborative and crowdsourcing platforms have been investigated to collectively tackle the annotation effort. However, when this concept is ported to the medical imaging domain, reading expertise will have a direct impact on the annotation accuracy. In this study, we examine the impact of expertise and the amount of available annotations on the accuracy outcome of a liver segmentation problem in an abdominal computed tomography (CT) image database. In controlled experiments, we study this impact for different types of weak annotations. To address the decrease in accuracy associated with lower expertise, we propose a method for outlier correction making use of a weakly labelled atlas. Using this approach, we demonstrate that weak annotations subject to high error rates can achieve a similarly high accuracy as state-of-the-art multi-atlas segmentation approaches relying on a large amount of expert manual segmentations. Annotations of this nature can realistically be obtained from a non-expert crowd and can potentially enable crowdsourcing of weak annotation tasks for medical image analysis.

研究动机与目标

• 评估标注专业度与标注率对使用弱标注进行肝脏分割精度的影响。
• 探究非专家众包提供的弱标注是否可实现与专家标注数据相当的高分割精度。
• 开发并验证一种基于弱标注图谱的鲁棒异常值校正方法，以缓解低专业度标注者带来的错误。
• 通过减少对专家标注数据的依赖，实现可扩展、低成本的医学图像分割。

提出的方法

• 该方法使用弱标注（边界框（BD）、涂鸦（PS）、预分割（PS））作为输入，输入至连续最大流分割框架。
• 通过汇集弱标注构建弱标注图谱，用作检测和校正异常标注的参考。
• 通过比较每条标注与图谱的一致性来执行异常值校正；不一致的标注将被移除或修正。
• 使用连续最大流算法执行分割，该算法结合弱标注的空间约束，以指导体素级标注。
• 在不同标注错误率（ERR）和标注率（AR）下评估该方法，性能通过Dice相似系数（DSC）衡量。
• 在腹部CT肝脏分割数据集上验证该方法，并与SOTA多图谱分割方法进行比较。

实验结果

研究问题

• RQ1 非专家标注者提供的弱标注是否可在肝脏CT图像分析中实现高分割精度？
• RQ2 标注错误率与标注频率（率）如何影响分割性能？
• RQ3 弱标注图谱是否能有效检测并校正低专业度用户提供的错误标注？
• RQ4 在高错误率的弱标注下，异常值校正是否能显著提升分割精度？

主要发现

• 在异常值校正下，25%标注率、最高25%错误率的矩形区域（RR）标注实现了94.3%的DSC，与专家级多图谱分割性能相当。
• 所提出的异常值校正方法在高错误率场景（如50% ERR）下，使分割精度提升了超过0.9个DSC点，即使在50% ERR下仍实现DSC > 94%。
• 若无校正，高错误率（如25%）在高标注率（如100%）下导致DSC低于0.8，表明因错误累积导致分割失败。
• 边界框（BD）和预分割（PS）在标注率低至25%时仍表现稳健，但需错误校正以在高错误率下维持精度。
• 在低错误率下（如0% ERR），异常值移除因标注频率降低导致DSC轻微下降，但整体在高错误率下显著提升了性能。
• 该方法在100%标注率、0%错误率下，使用RR标注实现了94.6%的SOTA DSC，与完全监督的多图谱方法性能相当。