[论文解读] Leveraging Medical Visual Question Answering with Supporting Facts

Tomasz Kornuta, Deepta Rajan+3 more|arXiv (Cornell University)|May 28, 2019

Multimodal Machine Learning Applications参考文献 25被引用 9

一句话总结

本文提出支持事实网络（SFN），一种多任务学习模型，通过利用上游任务输出（如图像模态、断面和解剖结构）作为支持事实，提升下游异常检测任务的推理能力，从而改善医学视觉问答（VQA）性能。该方法在VQA-Med 2019数据集上相较单分类器基线模型实现了18个百分点的F-1分数提升，证明了其在小样本、类别不平衡医学数据集上对标签分布偏移具有鲁棒性。

ABSTRACT

In this working notes paper, we describe IBM Research AI (Almaden) team's participation in the ImageCLEF 2019 VQA-Med competition. The challenge consists of four question-answering tasks based on radiology images. The diversity of imaging modalities, organs and disease types combined with a small imbalanced training set made this a highly complex problem. To overcome these difficulties, we implemented a modular pipeline architecture that utilized transfer learning and multi-task learning. Our findings led to the development of a novel model called Supporting Facts Network (SFN). The main idea behind SFN is to cross-utilize information from upstream tasks to improve the accuracy on harder downstream ones. This approach significantly improved the scores achieved in the validation set (18 point improvement in F-1 score). Finally, we submitted four runs to the competition and were ranked seventh.

研究动机与目标

• 解决放射科影像中低资源、类别不平衡且含噪声的医学VQA数据挑战。
• 通过利用简单上游任务的知识，提升复杂下游任务（尤其是异常检测，C4）的性能。
• 开发一种模块化、可迁移的流程，通过多任务学习与迁移学习增强低数据场景下的推理能力。
• 减少在小样本、有偏见的医学数据集中因标签分布偏移导致的性能下降。
• 验证将图像模态、断面和解剖结构作为支持事实，对提升下游VQA准确性的有效性。

提出的方法

• 该模型采用模块化流程，包含一个共享输入融合模块，使用预训练编码器处理图像和问题特征，并将图像尺寸作为额外输入线索。
• 问题分类模块在所有类别上进行预训练并冻结，用于预测任务类型（C1–C4，Binary），实现问题到特定任务分类器的动态路由。
• 五个独立的、类别特定的分类器分别使用各自的损失函数和标签字典进行训练，每个分类器专门针对一种问题类型。
• 支持事实（来自上游任务的输出，如模态、断面、器官）在最终分类前与融合的图像-问题表征拼接，尤其针对C4和Binary问题。
• 架构采用视觉与语言特征的早期融合，结合多任务学习设置，联合优化推理模块与分类器。
• 采用重采样策略（19:1的训练/验证集划分）和加权随机采样，以缓解数据不平衡并提升泛化能力。

实验结果

研究问题

• RQ1 上游任务预测（如模态、断面、解剖结构）能否作为支持事实，提升医学VQA中下游异常检测的性能？
• RQ2 采用共享头与特定任务头的多任务学习，如何提升在低资源、类别不平衡医学VQA数据集上的性能？
• RQ3 将图像尺寸作为辅助输入线索，在放射科VQA中在多大程度上提升模型性能？
• RQ4 从简单上游任务蒸馏知识，能否减少在复杂下游任务（如异常检测）中的错误？
• RQ5 与单任务基线相比，所提出的模型在小样本、有偏见的医学数据集中如何应对标签分布偏移？

主要发现

• 支持事实网络（SFN）在原始验证集上相较单分类器基线（IF-1C）实现了18个百分点的F-1分数提升（从0.548提升至0.717）。
• 尽管测试集中出现未见答案类别导致显著下降，该模型在VQA-Med 2019排行榜上仍取得了0.558的测试集准确率和0.582的BLEU分数。
• 使用支持事实（特别是模态、断面和器官预测）显著增强了对C4（异常检测）和Binary（是/否）问题的推理能力。
• 该模型训练速度更快，且在长尾分布和类别不平衡数据中泛化能力更强。
• 预训练的问题分类模块在微调过程中保持冻结，实现了对问题到合适任务特定分类器的有效路由，提升了整体系统鲁棒性。
• 将图像尺寸作为输入线索，有助于改善特征表示和模型性能，尤其在早期融合阶段。