[论文解读] UnICLAM:Contrastive Representation Learning with Adversarial Masking for Unified and Interpretable Medical Vision Question Answering

Chenlu Zhan, Peng Peng+3 more|arXiv (Cornell University)|Dec 21, 2022

Multimodal Machine Learning Applications被引用 9

一句话总结

UnICLAM 提出了一种统一且可解释的医学视觉问答模型，通过对抗性掩码的对比表示学习实现。通过在视觉和文本编码器之间逐步实现软参数共享，并应用统一的对抗性掩码进行数据增强，UnICLAM 在 VQA-RAD 和 SLAKE 基准上达到最先进性能，分别在 X 射线和 CT 数据集上取得 95.9% 和 92.4% 的准确率，同时通过语义对齐的掩码实现强大的事前可解释性。

ABSTRACT

Medical Visual Question Answering (Medical-VQA) aims to to answer clinical questions regarding radiology images, assisting doctors with decision-making options. Nevertheless, current Medical-VQA models learn cross-modal representations through residing vision and texture encoders in dual separate spaces, which lead to indirect semantic alignment. In this paper, we propose UnICLAM, a Unified and Interpretable Medical-VQA model through Contrastive Representation Learning with Adversarial Masking. Specifically, to learn an aligned image-text representation, we first establish a unified dual-stream pre-training structure with the gradually soft-parameter sharing strategy. Technically, the proposed strategy learns a constraint for the vision and texture encoders to be close in a same space, which is gradually loosened as the higher number of layers. Moreover, for grasping the unified semantic representation, we extend the adversarial masking data augmentation to the contrastive representation learning of vision and text in a unified manner. Concretely, while the encoder training minimizes the distance between original and masking samples, the adversarial masking module keeps adversarial learning to conversely maximize the distance. Furthermore, we also intuitively take a further exploration to the unified adversarial masking augmentation model, which improves the potential ante-hoc interpretability with remarkable performance and efficiency. Experimental results on VQA-RAD and SLAKE public benchmarks demonstrate that UnICLAM outperforms existing 11 state-of-the-art Medical-VQA models. More importantly, we make an additional discussion about the performance of UnICLAM in diagnosing heart failure, verifying that UnICLAM exhibits superior few-shot adaption performance in practical disease diagnosis.

研究动机与目标

• 为解决现有医学 VQA 模型中使用独立视觉与文本编码器时存在的语义对齐不足问题。
• 通过渐进式软参数共享统一视觉与文本编码器，提升跨模态表示学习。
• 通过统一方式将对抗性掩码扩展至对比学习，增强模型可解释性。
• 实现事前可解释性——即在训练过程中内建可解释性，而非依赖事后解释工具。
• 评估模型在真实临床诊断中的少样本泛化能力，特别是心力衰竭的诊断。

提出的方法

• 引入统一的双流预训练结构，通过 $l_2$ 距离惩罚约束视觉与文本编码器在各层逐步共享参数。
• 软参数共享策略从网络底层到高层逐步放松约束，促进对齐而不过度限制早期表示。
• 将对抗性掩码扩展至统一的对比表示学习：编码器最小化原始样本与掩码样本之间的距离，而掩码模块则对抗性地最大化该距离。
• 对抗性掩码模块为视觉与文本生成语义上合理的掩码，提升对齐与可解释性。
• 该框架通过在训练过程中生成语义一致的视觉与文本掩码，实现事前可解释性，而非事后生成。
• 模型在医学图像-文本对上进行预训练，并在 VQA 基准如 VQA-RAD 和 SLAKE 上进行微调。

实验结果

研究问题

• RQ1 具有渐进式软参数共享的统一双流架构是否能改善医学 VQA 中的跨模态对齐？
• RQ2 将对抗性掩码扩展至统一对比学习是否能同时提升医学 VQA 的性能与可解释性？
• RQ3 所提方法是否能在真实临床诊断中实现强大的少样本泛化能力，如心力衰竭检测？
• RQ4 与 Grad-CAM 等事后方法相比，对抗性掩码的事前可解释性在语义相关性与准确性方面表现如何？
• RQ5 统一表示学习框架在标准医学 VQA 基准上相较于现有最先进模型的优越程度如何？

主要发现

• UnICLAM 在 VQA-RAD 基准的 X 射线数据集上达到 95.9% 的整体准确率，在 CT 数据集上达到 92.4%，显著优于先前最先进模型。
• 与强基线模型 MEVF+BAN 相比，UnICLAM 在 CT 上提升 11.2% 准确率，在 X 射线上提升 10.7%。
• 与 MMBERT 相比，UnICLAM 在 X 射线和 CT 数据集上分别实现 9.1% 和 9.5% 的更高准确率。
• 与 PubMedCLIP 相比，UnICLAM 在 X 射线和 CT 数据集上分别提升 6.0% 和 6.9%，在特定问题类型上增益更大（Q1：+5.8%，+6.5%；Q2：+6.6%，+7.1%）。
• UnICLAM 生成的对抗性掩码能精确定位临床相关区域，如心脏阴影和肺血管阴影，而 MEVF+BAN 则聚焦于无关词汇与背景。
• 统一的对抗性掩码方法生成语义对齐的视觉与文本掩码，不同于原始随机掩码，且在无需事后工具的情况下实现强大的事前可解释性。