[论文解读] Iterative annotation to ease neural network training: Specialized machine learning in medical image analysis

Brendon Lutnick, Brandon Ginley+8 more|arXiv (Cornell University)|Dec 18, 2018

AI in cancer detection参考文献 46被引用 36

一句话总结

本文提出了一种迭代式、人机协同的标注框架，将神经网络预测结果直接集成到Aperio ImageScope WSI查看器中，以减轻医学图像分析中的标注负担。通过使病理学家迭代修正预测结果，该方法显著提升了人类和小鼠组织中肾微结构的分割准确性，并展示了在放射科前列腺腺体分割任务中的适应性，仅需极少的专家标注工作即可实现稳健性能。

ABSTRACT

Neural networks promise to bring robust, quantitative analysis to medical fields, but adoption is limited by the technicalities of training these networks. To address this translation gap between medical researchers and neural networks in the field of pathology, we have created an intuitive interface which utilizes the commonly used whole slide image (WSI) viewer, Aperio ImageScope (Leica Biosystems Imaging, Inc.), for the annotation and display of neural network predictions on WSIs. Leveraging this, we propose the use of a human-in-the-loop strategy to reduce the burden of WSI annotation. We track network performance improvements as a function of iteration and quantify the use of this pipeline for the segmentation of renal histologic findings on WSIs. More specifically, we present network performance when applied to segmentation of renal micro compartments, and demonstrate multi-class segmentation in human and mouse renal tissue slides. Finally, to show the adaptability of this technique to other medical imaging fields, we demonstrate its ability to iteratively segment human prostate glands from radiology imaging data.

研究动机与目标

• 减少在医学图像分析中训练深度神经网络时的标注负担。
• 通过将模型预测结果整合到标准WSI查看工作流中，弥合病理学家与神经网络开发者之间的差距。
• 开发一种可扩展的交互式流程，通过专家对预测结果的迭代反馈提升模型性能。
• 证明该方法在分割全切片图像中复杂肾组织病理结构方面的有效性。
• 在不同医学成像模态（包括病理学和放射学）中验证该方法的适用性。

提出的方法

• 该方法使用自定义界面，在病理学中标准使用的Aperio ImageScope查看器内将神经网络预测结果叠加于全切片图像（WSIs）之上。
• 病理学家通过简单的标注界面迭代修正模型预测结果，修改内容被反馈用于重新训练模型。
• 系统追踪各轮迭代中的模型性能，量化每次反馈循环后分割准确率的提升。
• 采用基于U-Net的深度学习模型，用于肾微结构和前列腺腺体的语义分割。
• 该流程支持多类别分割，能够区分人类和小鼠肾组织中复杂的组织结构。
• 该方法可迁移至其他成像模态，如在放射学图像中实现前列腺腺体分割的验证。

实验结果

研究问题

• RQ1 交互式、人机协同的标注系统是否能显著减少生成高质量医学图像分割训练数据所需的时间与工作量？
• RQ2 对模型预测结果进行迭代修正，如何影响深度神经网络在分割复杂肾组织病理结构方面的性能？
• RQ3 该框架在不同医学成像领域（如病理学与放射学）之间具有多大程度的通用性？
• RQ4 经过多轮专家反馈后，分割准确率的定量提升程度如何？
• RQ5 将模型预测结果集成到标准WSI查看器中，对病理学家工作流程和标注效率有何影响？

主要发现

• 迭代式标注流程显著减轻了标注负担，同时提升了人类和小鼠全切片图像中肾微结构的分割准确性。
• 性能随每轮迭代持续提升，表明结合专家反馈的主动学习可实现模型性能的快速收敛。
• 该方法实现了对肾组织结构（包括肾小球、肾小管和间质）的稳健多类别分割，具备高空间精度。
• 该框架成功应用于放射学图像中的前列腺腺体分割，证实其跨模态适用性。
• 将预测结果集成至标准Aperio ImageScope界面显著提升了工作流程效率，减少了专家反馈的摩擦。
• 定量结果显示，Dice分数在多轮迭代中持续提升，性能在3–5轮反馈循环后趋于稳定。