[论文解读] Indication as Prior Knowledge for Multimodal Disease Classification in Chest Radiographs with Transformers

Grzegorz Jacenków, Alison Q. O’Neil+1 more|arXiv (Cornell University)|Feb 12, 2022

Radiomics and Machine Learning in Medical Imaging被引用 7

一句话总结

该论文提出了一种多模态Transformer模型，利用影像检查前提供的自由文本形式的临床指征字段作为先验知识，以提升胸部X光片的疾病分类性能。通过使用ResNet-152提取的图像特征对单模态BERT模型进行微调，该方法在MIMIC-CXR数据集上实现了87.8%的平均微AUROC，优于先前的单模态（84.4%）和多模态（86.0%）方法。

ABSTRACT

When a clinician refers a patient for an imaging exam, they include the reason (e.g. relevant patient history, suspected disease) in the scan request; this appears as the indication field in the radiology report. The interpretation and reporting of the image are substantially influenced by this request text, steering the radiologist to focus on particular aspects of the image. We use the indication field to drive better image classification, by taking a transformer network which is unimodally pre-trained on text (BERT) and fine-tuning it for multimodal classification of a dual image-text input. We evaluate the method on the MIMIC-CXR dataset, and present ablation studies to investigate the effect of the indication field on the classification performance. The experimental results show our approach achieves 87.8 average micro AUROC, outperforming the state-of-the-art methods for unimodal (84.4) and multimodal (86.0) classification. Our code is available at https://github.com/jacenkow/mmbt.

研究动机与目标

• 通过整合临床指征字段（即描述影像检查原因的临床文本）来提升多模态胸部X光片分类性能。
• 评估单模态预训练的BERT在与图像特征联合微调时，是否能有效学习多模态交互。
• 评估模型对常见文本错误和指征字段缺失的鲁棒性。
• 建立一个仅使用现有、非侵入性临床信息的多模态疾病分类强基线。

提出的方法

• 在双模态图像-文本输入上微调单模态预训练的BERT模型，其中图像通过ResNet-152分类器提取的特征进行编码。
• 将放射科报告中的指征字段用作临床先验知识的来源，以引导注意力机制并提升分类性能。
• 采用多模态BERT（MMBT）架构，通过交叉注意力机制联合处理图像和文本嵌入。
• 在MIMIC-CXR数据集上端到端训练模型，使用多标签分类损失。
• 通过对抗性扰动评估鲁棒性：字符替换、键盘错别字、同义词替换，以及缺失/互换输入。
• 采用晚期融合策略，即在Transformer编码器中融合前分别处理图像和文本特征。

Fig. 1 : We consider the problem of classifying chest X-ray images given the patient information in a free-text form. We only use knowledge about the patient collected before the imaging examination and do not require radiologist intervention as opposed to most prior studies.

实验结果

研究问题

• RQ1 单模态预训练的BERT模型能否有效学习胸部X光图像与临床指征文本之间的多模态交互？
• RQ2 与仅使用图像或晚期融合基线相比，将指征字段作为先验知识是否能提升分类性能？
• RQ3 模型对常见文本错误（如错别字、同义词使用或指征字段缺失）的鲁棒性如何？
• RQ4 当接收到另一名患者冲突的指征信息时，模型性能是否会显著下降？
• RQ5 当指征字段缺失时，模型性能是否与仅使用图像的基线相当？

主要发现

• 所提方法在MIMIC-CXR数据集上实现了87.8%的平均微AUROC，优于先前的SOTA单模态（84.4%）和多模态（86.0%）方法。
• 模型对拼写错误表现出强鲁棒性，键盘错别字下性能最多下降-1.7%微AUROC。
• 当指征字段缺失或替换为停用词时，模型性能下降至与ResNet-50仅图像基线相当，表明其在可用时依赖文本输入。
• 将指征替换为另一名患者的文本导致微AUROC下降9.8%，宏AUROC下降16.6%，证实模型在决策中同时使用了两种模态。
• 模型在全部14种疾病上均保持高性能，其中‘支持装置’的AUROC最高，达92.2%，‘胸腔积液’为88.6%。
• 该方法表明，通过微调的BERT架构可有效利用指征字段中的临床先验知识，从而提升胸部X光片分类的诊断准确性。

Fig. 2 : The overview of method. We extend a multi-layer transformer pre-trained on textual data with imaging input. The images are provided as features extracted from a ResNet-50 network. The features are reshaped to 49 vectors of 2048 dimensions each and combined with two embeddings describing seg