[论文解读] A self-supervised text-vision framework for automated brain abnormality detection

David Wood, Emily Guilhem+14 more|arXiv (Cornell University)|May 5, 2024

Brain Tumor Detection and Classification被引用 4

一句话总结

本文提出了一种自监督的文本-视觉框架，利用自由文本放射科报告在无需预先标注分类数据的情况下检测MRI扫描中的脑部异常。通过训练NeuroBERT生成报告嵌入，并利用对比学习将MRI扫描与这些文本嵌入对齐，该模型能够使用查询句子实现零样本异常检测，在识别中风和脑积水等病症方面表现出高精度。

ABSTRACT

Artificial neural networks trained on large, expert-labelled datasets are considered state-of-the-art for a range of medical image recognition tasks. However, categorically labelled datasets are time-consuming to generate and constrain classification to a pre-defined, fixed set of classes. For neuroradiological applications in particular, this represents a barrier to clinical adoption. To address these challenges, we present a self-supervised text-vision framework that learns to detect clinically relevant abnormalities in brain MRI scans by directly leveraging the rich information contained in accompanying free-text neuroradiology reports. Our training approach consisted of two-steps. First, a dedicated neuroradiological language model - NeuroBERT - was trained to generate fixed-dimensional vector representations of neuroradiology reports (N = 50,523) via domain-specific self-supervised learning tasks. Next, convolutional neural networks (one per MRI sequence) learnt to map individual brain scans to their corresponding text vector representations by optimising a mean square error loss. Once trained, our text-vision framework can be used to detect abnormalities in unreported brain MRI examinations by scoring scans against suitable query sentences (e.g., 'there is an acute stroke', 'there is hydrocephalus' etc.), enabling a range of classification-based applications including automated triage. Potentially, our framework could also serve as a clinical decision support tool, not only by suggesting findings to radiologists and detecting errors in provisional reports, but also by retrieving and displaying examples of pathologies from historical examinations that could be relevant to the current case based on textual descriptors.

研究动机与目标

• 为克服监督学习在医学影像中的局限性，即大规模专家标注数据集成本高昂且限制分类类别为固定集合。
• 开发一种框架，利用自由文本神经放射科报告中丰富的非结构化信息，学习临床相关的表征。
• 通过自然语言查询实现在未报告MRI扫描中的零样本异常检测。
• 通过基于文本描述检索相关历史病例，支持临床决策制定。

提出的方法

• 在50,523份神经放射科报告上训练领域特定的自监督语言模型NeuroBERT，以生成固定维度的向量嵌入。
• 使用均方误差损失函数，训练卷积神经网络（CNNs）将单个MRI序列映射到相应的文本嵌入。
• 该框架采用对比学习对齐图像与文本表征，实现在未见扫描上的零样本推理。
• 通过学习到的嵌入相似性，对MRI扫描与预定义查询句子（例如“存在急性中风”）进行评分，实现异常检测。
• 系统通过基于文本描述检索相似历史病例，支持临床决策支持。
• 该方法消除了对手动标注扫描标签的需求，转而依赖报告文本进行监督。

实验结果

研究问题

• RQ1 在放射科报告上进行自监督学习，是否能实现无需人工标注的脑部MRI异常检测的有效表征学习？
• RQ2 仅使用自然语言查询，文本-视觉框架在未报告的MRI扫描中检测临床相关异常的能力如何？
• RQ3 该模型在基于发现的文本描述检索相关历史病例方面的能力有多强？
• RQ4 该框架能否通过零样本推理泛化到罕见或此前未见过的病理情况？
• RQ5 在检测常见脑部异常方面，该文本-视觉框架与监督基线相比性能如何？

主要发现

• 该框架仅通过文本查询即可实现脑部异常的零样本检测，无需依赖预先标注的图像数据集。
• 通过与参考报告的语义相似性，该模型在识别急性中风和脑积水等关键病理方面表现出高精度。
• 使用NeuroBERT进行报告嵌入显著提升了表征质量，优于通用BERT模型。
• 系统能够基于文本描述成功检索相关的历史MRI病例，支持临床决策制定。
• 该框架在无先前放射科报告的扫描中检测异常方面表现出稳健性。
• 该方法可通过将发现与学习到的嵌入进行比较，实现实时分诊和初步报告中的错误检测。