[论文解读] A Survey on Biomedical Image Captioning

Vasiliki Kougia, John Pavlopoulos+1 more|arXiv (Cornell University)|May 26, 2019

Multimodal Machine Learning Applications参考文献 57被引用 13

一句话总结

本文首次对生物医学图像字幕生成进行了全面综述，引入了公开可访问的数据集，评估了现有方法，并提出了两种基线模型——基于频率的基线和基于图像检索的基线，后者在其中一个数据集上优于当前最先进模型。研究指出了类别不平衡和罕见疾病术语等挑战，并呼吁开发领域特定的评估指标以及结合临床医生意见的研究方法，以提升临床实用性。

ABSTRACT

Image captioning applied to biomedical images can assist and accelerate the diagnosis process followed by clinicians. This article is the first survey of biomedical image captioning, discussing datasets, evaluation measures, and state of the art methods. Additionally, we suggest two baselines, a weak and a stronger one; the latter outperforms all current state of the art systems on one of the datasets.

研究动机与目标

• 为解决生物医学图像字幕生成领域中缺乏可访问、标准化的数据集和评估基准的问题。
• 通过使用简单、可解释的模型建立基线性能水平，以衡量该领域的发展进展。
• 尽管由于数据集异质性导致跨数据集可比性有限，仍对当前最先进方法进行比较。
• 识别关键挑战，如类别不平衡和罕见疾病术语的稀疏性。
• 通过临床医生咨询和任务特定评估，引导未来研究与真实临床需求对齐。

提出的方法

• 作者收集并预处理了三个公开可用的生物医学图像字幕生成数据集：IU X-ray、PEIR Gross 和 ICLIF-Caption，提供代码以确保一致的数据访问与预处理。
• 他们提出一种基于频率的基线模型，根据训练报告中词语的频率生成字幕，确立性能下限。
• 他们提出一种基于检索的基线模型，利用图像相似性及其相关报告生成字幕，基于相似图像具有相似诊断的假设。
• 该检索基线模型使用图像嵌入和文本嵌入来寻找最近邻，然后将这些最近邻的字幕作为预测结果。
• 他们使用标准指标（BLEU、ROUGE、CIDEr）进行评估，但指出了这些指标在生物医学领域中的局限性。
• 他们在不同数据集上比较了当前最先进模型，指出由于数据划分和评估协议的差异，直接可比性有限。

实验结果

研究问题

• RQ1 公开可用的生物医学图像字幕生成数据集有哪些？其关键特征和局限性是什么？
• RQ2 简单基线模型与复杂深度学习模型在生物医学图像字幕生成中的表现如何比较？它们能否作为性能基准？
• RQ3 通用图像字幕生成中的标准评估指标在生物医学图像字幕生成中适用程度如何？
• RQ4 生物医学图像字幕生成中的主要挑战有哪些，例如类别不平衡和罕见疾病术语的出现频率？
• RQ5 未来研究如何更好地与临床需求对齐，以提升诊断实用性？

主要发现

• 基于检索的基线模型在 ICLIF-Caption 数据集上优于所有当前最先进系统，显示出其出色的性能，并具备作为基准的潜力。
• 基于频率的基线模型提供了可靠的性能下限，有助于判断新模型是否带来了有意义的改进。
• 公开可用的数据集存在显著的类别不平衡问题，大多数图像无报告发现，增加了模型学习的难度。
• 与罕见疾病相关的术语出现频率极低，导致当前模型在多样化病理情况下的泛化能力受限。
• 通用图像字幕生成中的标准评估指标在生物医学领域中不足以反映临床相关性或诊断准确性。
• 各研究之间缺乏一致的评估协议，限制了模型性能的直接比较。