[论文解读] Interleaved text/image deep mining on a large-scale radiology database for automated image interpretation

Hoo-Chang Shin, Le Lü+4 more|arXiv (Cornell University)|Jan 1, 2016

Topic Modeling参考文献 52被引用 38

一句话总结

本文提出一种交错式文本/图像深度学习系统，从约21.6万张影像的大规模医院数据库中挖掘放射科影像与报告之间的语义交互。在全量数据上采用弱监督学习，并在有限标注数据上采用严格监督方法，实现了对常见疾病类型的精确检测，证明了在真实临床系统中大规模自动化医学影像解读的可行性。

ABSTRACT

Despite tremendous progress in computer vision, there has not been an attempt to apply machine learning on very large-scale medical image databases. We present an interleaved text/image deep learning system to extract and mine the semantic interactions of radiology images and reports from a national research hospital's Picture Archiving and Communication System. With natural language processing, we mine a collection of ∼216K representative two-dimensional images selected by clinicians for diagnostic reference and match the images with their descriptions in an automated manner. We then employ a weakly supervised approach using all of our available data to build models for generating approximate interpretations of patient images. Finally, we demonstrate a more strictly supervised approach to detect the presence and absence of a number of frequent disease types, providing more specific interpretations of patient scans. A relatively small amount of data is used for this part, due to the challenge in gathering quality labels from large raw text data. Our work shows the feasibility of large-scale learning and prediction in electronic patient records available in most modern clinical institutions. It also demonstrates the trade-offs to consider in designing machine learning systems for analyzing large medical data.

研究动机与目标

• 解决临床环境中大规模医学影像数据库中机器学习应用的缺乏问题。
• 从国家医院PACS系统中挖掘放射科影像与其关联文本报告之间的语义关系。
• 开发一种弱监督模型，利用所有可用数据生成近似影像解读。
• 采用严格监督方法检测常见疾病类型的有无，实现高特异性。
• 展示使用真实临床数据在电子病历中进行大规模学习的可行性与权衡。

提出的方法

• 利用自然语言处理技术提取并匹配由临床医生挑选的约21.6万张代表性二维影像与放射科报告。
• 采用弱监督学习方法，在整个数据集上训练模型，以生成近似影像解读。
• 采用小规模高质量标注数据子集实施严格监督学习方法，以检测特定疾病类型。
• 设计一种交错式深度学习架构，联合建模图像特征与文本描述，以增强语义理解。
• 利用现代临床机构现有的电子健康记录数据训练和验证模型，无需新数据采集。
• 通过结合弱监督以学习广泛模式与强监督以实现精确疾病检测，平衡数据效率与模型准确性。

实验结果

研究问题

• RQ1 深度学习系统能否在大规模场景下有效提取并建模放射科影像与其关联临床报告之间的语义交互？
• RQ2 在疾病检测性能方面，全量数据上的弱监督学习与有限标注数据下的严格监督学习相比如何？
• RQ3 在使用真实世界电子病历数据进行大规模医学影像分析时，设计机器学习系统的实际权衡是什么？
• RQ4 在仅使用现有未标注临床数据的情况下，自动化系统在多大程度上能生成具有临床相关性的影像解读？
• RQ5 结合弱监督与强监督的混合学习策略能否提高放射科影像中疾病检测的准确性？

主要发现

• 该系统成功从约21.6万张影像的大规模临床数据库中挖掘出放射科影像与报告之间的语义交互。
• 弱监督方法在无需人工标注的情况下，利用所有可用数据有效生成了近似影像解读。
• 尽管仅使用少量标注数据，严格监督方法仍实现了对常见疾病类型有无的精确检测。
• 本研究证明了利用现有临床数据基础设施在电子病历中实现大规模学习与预测的可行性。
• 研究结果凸显了在真实世界医学数据中应用机器学习时系统设计的关键权衡，包括数据效率、标注成本与模型准确性。