[论文解读] EasierPath: An Open-source Tool for Human-in-the-loop Deep Learning of Renal Pathology

Zheyu Zhu, Yuzhe Lu+4 more|arXiv (Cornell University)|Jul 28, 2020

AI in cancer detection参考文献 16被引用 4

一句话总结

EasierPath 是一款开源、人机协同的工具，通过整合病理学家与深度学习技术，实现肾脏全切片图像（WSI）中高效、大规模的肾小球检测。通过利用基于 CircleNet 的目标检测进行迭代优化、基于阈值的过滤以及无缝的注释兼容性，该工具将注释工作量减少了 57%，并将平均精度（AP）从 0.504 提升至 0.620，经过两轮迭代后实现显著改进。

ABSTRACT

Considerable morphological phenotyping studies in nephrology have emerged in the past few years, aiming to discover hidden regularities between clinical and imaging phenotypes. Such studies have been largely enabled by deep learning based image analysis to extract sparsely located targeting objects (e.g., glomeruli) on high-resolution whole slide images (WSI). However, such methods need to be trained using labor-intensive high-quality annotations, ideally labeled by pathologists. Inspired by the recent "human-in-the-loop" strategy, we developed EasierPath, an open-source tool to integrate human physicians and deep learning algorithms for efficient large-scale pathological image quantification as a loop. Using EasierPath, physicians are able to (1) optimize the recall and precision of deep learning object detection outcomes adaptively, (2) seamlessly support deep learning outcomes refining using either our EasierPath or prevalent ImageScope software without changing physician's user habit, and (3) manage and phenotype each object with user-defined classes. As a user case of EasierPath, we present the procedure of curating large-scale glomeruli in an efficient human-in-the-loop fashion (with two loops). From the experiments, the EasierPath saved 57 % of the annotation efforts to curate 8,833 glomeruli during the second loop. Meanwhile, the average precision of glomerular detection was leveraged from 0.504 to 0.620. The EasierPath software has been released as open-source to enable the large-scale glomerular prototyping. The code can be found in https://github.com/yuankaihuo/EasierPath

研究动机与目标

• 通过整合人类与机器智能，解决肾脏病理学中手动注释带来的高人力成本与专业知识需求问题。
• 减少在高分辨率全切片图像（WSI）中为大规模研究整理肾小球所耗费的时间与精力。
• 使病理学家能够利用熟悉的工具（如 ImageScope）高效地对深度学习检测结果进行修正，同时保持数据完整性。
• 支持对检测到的肾小球进行可定制的分类与管理，以支持后续表型分析与模型再训练。
• 开发一种可扩展的开源流程，通过人机协同的反馈循环实现肾小球检测的迭代优化。

提出的方法

• 在全切片图像（WSI）上使用 CircleNet 进行初始的基于深度学习的肾小球检测，输出带有置信度分数的边界圆。
• 在 EasierPath 中应用全局阈值处理，根据置信度分数对检测结果进行过滤，以在人工质量检查前平衡召回率与精确率。
• 允许病理学家使用自定义注释界面或与原生 ImageScope 兼容的工具进行局部质量保证（QA）与修正操作。
• 将每个检测到的肾小球提取并单独管理为图像，并附带用户定义的分类标签。
• 利用每轮迭代中整理的数据对 CircleNet 模型进行再训练，形成闭环的优化系统。
• 通过两个独立的迭代循环实现持续优化：第一轮针对活检样本，第二轮针对肾切除样本，每轮后均进行模型再训练。

实验结果

研究问题

• RQ1 人机协同框架是否能显著减少大规模肾脏 WSI 中肾小球检测所需的注释工作量？
• RQ2 迭代式人工反馈在多大程度上提升了深度学习模型在肾小球检测中的性能？
• RQ3 将病理学家与深度学习工具相结合，对肾小球检测的精确率与召回率产生何种影响？
• RQ4 开源工具是否能在不破坏临床工作流程的前提下，保持与广泛使用的商业软件（如 ImageScope）的兼容性？
• RQ5 多轮迭代中整理的数据对肾小球检测模型的泛化能力与准确性产生何种影响？

主要发现

• 在第二轮迭代中，EasierPath 框架将人工注释工作量减少了 57%，每幅人类肾切除样本图像约节省 2.5 小时工作时间。
• 肾小球检测的平均精度（AP）从第一轮后的 0.504 提升至第二轮后的 0.620，相对提升 22.6%。
• 在 IOU 阈值为 0.5 时，平均精度提升了 25.51%；对于小肾小球，AP 提升了 46.28%。
• 在精确率为 0.8 时，召回率从第一轮的 0.68 提升至第二轮的 0.90，提升 32.35%，表明对真实肾小球的检测能力显著增强。
• 精确率-召回率曲线显示，第二轮后精确率与召回率均持续提升，证实了模型鲁棒性的增强。
• 闭环系统通过利用整理后的数据实现有效的模型再训练，使所有 AP 指标均获得可测量的性能提升。