[论文解读] DeepRadiologyNet: Radiologist Level Pathology Detection in CT Head Images

Jameson Merkow, Robert B. Lufkin+4 more|arXiv (Cornell University)|Nov 26, 2017

Radiomics and Machine Learning in Medical Imaging参考文献 26被引用 15

一句话总结

DeepRadiologyNet 是一种深度学习系统，可在高置信度研究中以 0.0367% 的临床显著漏诊率检测 CT 头部扫描中的临床显著病理，显著低于美国认证放射科医生估计的 0.82% 漏诊率。该模型在 24,000 项研究的 350 万张 CT 图像上进行训练，并在 29,925 项独立研究的 480 万张图像上进行验证，采用微调的 CNN 架构和基于置信度的研究选择方法，可自动报告高达 42.1% 的病例，且准确率更优。

ABSTRACT

We describe a system to automatically filter clinically significant findings from computerized tomography (CT) head scans, operating at performance levels exceeding that of practicing radiologists. Our system, named DeepRadiologyNet, builds on top of deep convolutional neural networks (CNNs) trained using approximately 3.5 million CT head images gathered from over 24,000 studies taken from January 1, 2015 to August 31, 2015 and January 1, 2016 to April 30 2016 in over 80 clinical sites. For our initial system, we identified 30 phenomenological traits to be recognized in the CT scans. To test the system, we designed a clinical trial using over 4.8 million CT head images (29,925 studies), completely disjoint from the training and validation set, interpreted by 35 US Board Certified radiologists with specialized CT head experience. We measured clinically significant error rates to ascertain whether the performance of DeepRadiologyNet was comparable to or better than that of US Board Certified radiologists. DeepRadiologyNet achieved a clinically significant miss rate of 0.0367% on automatically selected high-confidence studies. Thus, DeepRadiologyNet enables significant reduction in the workload of human radiologists by automatically filtering studies and reporting on the high-confidence ones at an operating point well below the literal error rate for US Board Certified radiologists, estimated at 0.82%.

研究动机与目标

• 开发一种自动化系统，检测 CT 头部扫描中的临床显著病理，性能超越人类放射科医生。
• 通过自动识别和报告高置信度研究，减轻放射科医生的诊断工作负担。
• 使用大规模独立临床试验，以美国 Board Certified 放射科医生作为金标准，评估系统的可靠性。
• 证明深度学习模型可通过利用大规模、专业标注的数据，在医学影像中实现更高准确率。
• 在放射科医生资源有限的环境中，实现可扩展、成本效益高且可全球部署的诊断支持。

提出的方法

• 在来自 80 家临床机构的超过 24,000 项研究中收集的约 350 万张 CT 头部图像上训练深度卷积神经网络（CNN）。
• 重新设计最先进的 CNN 架构，以更好地匹配 CT 图像的统计特性，区别于自然图像分布。
• 使用基于置信度的选择机制，根据标签分布的不确定性估计，确定模型报告的研究。
• 通过从网络输出分布中推导出的后验得分，在研究层面聚合单个图像的预测结果。
• 使用包含 29,925 项研究和 480 万张图像的临床试验评估性能，该数据集与训练和验证集完全独立。
• 应用 35 名美国 Board Certified 放射科医生的共识读片，建立临床显著发现的金标准。

实验结果

研究问题

• RQ1 深度学习系统能否在 CT 头部扫描中检测出临床显著病理，且性能超越人类放射科医生？
• RQ2 在大型独立数据集上以高置信度运行时，自动化系统的临床显著漏诊率是多少？
• RQ3 自动化系统在保持或提升诊断准确率的同时，能在多大程度上减轻放射科医生的工作负担？
• RQ4 该模型基于置信度的选择机制与人类放射科医生在识别高质量诊断病例方面的表现相比如何？
• RQ5 在原始 CT 数据上进行训练的深度学习模型，能否在检测颅内出血或急性梗死等关键病理方面超越人类解读？

主要发现

• DeepRadiologyNet 在高置信度研究中实现了 0.0367% 的临床显著漏诊率（CSMR），显著低于美国 Board Certified 放射科医生估计的 0.82% CSMR。
• 在保守运行点，系统报告了 8.5% 的研究，CSMR 为 0.037%，性能远低于人类错误率。
• 系统实现了 42.1% 的基于置信度的报告率，同时 CSMR 低于估计的人类错误率。
• 该模型成功识别并定位了 30 种非互斥的病理特征，包括急性颅内出血和凹陷性颅骨骨折等关键发现。
• 该系统的基于置信度的选择机制自动将低置信度病例过滤出来交由人工复查，确保安全性，且无需访问金标准。
• 结果表明，深度学习模型可通过大规模专业标注数据的训练，实现与人类相当或更优的医学影像表现，尤其在检测时间敏感的临床显著病理方面。