[论文解读] DVPT: Dynamic Visual Prompt Tuning of Large Pre-trained Models for Medical Image Analysis

Along He, Kai Wang+3 more|arXiv (Cornell University)|Jul 19, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用 3

一句话总结

本文提出DVPT，一种用于医学图像分析中大型预训练视觉模型的参数高效微调方法。通过引入可学习的、动态的视觉提示，使其自适应地关注冻结的领域转换特征，DVPT仅需模型0.5%的参数可训练，即实现最先进性能，Kappa得分较全微调高出2.20%以上，并将标注数据需求减少高达60%。

ABSTRACT

Limited labeled data makes it hard to train models from scratch in medical domain, and an important paradigm is pre-training and then fine-tuning. Large pre-trained models contain rich representations, which can be adapted to downstream medical tasks. However, existing methods either tune all the parameters or the task-specific layers of the pre-trained models, ignoring the input variations of medical images, and thus they are not efficient or effective. In this work, we aim to study parameter-efficient fine-tuning (PEFT) for medical image analysis, and propose a dynamic visual prompt tuning method, named DVPT. It can extract knowledge beneficial to downstream tasks from large models with a few trainable parameters. Firstly, the frozen features are transformed by an lightweight bottleneck layer to learn the domain-specific distribution of downstream medical tasks, and then a few learnable visual prompts are used as dynamic queries and then conduct cross-attention with the transformed features, attempting to acquire sample-specific knowledge that are suitable for each sample. Finally, the features are projected to original feature dimension and aggregated with the frozen features. This DVPT module can be shared between different Transformer layers, further reducing the trainable parameters. To validate DVPT, we conduct extensive experiments with different pre-trained models on medical classification and segmentation tasks. We find such PEFT method can not only efficiently adapt the pre-trained models to the medical domain, but also brings data efficiency with partial labeled data. For example, with 0.5\% extra trainable parameters, our method not only outperforms state-of-the-art PEFT methods, even surpasses the full fine-tuning by more than 2.20\% Kappa score on medical classification task. It can saves up to 60\% labeled data and 99\% storage cost of ViT-B/16.

研究动机与目标

• 解决在微调大型预训练模型时标注医学数据有限的挑战。
• 克服静态提示微调方法在医学图像中复杂纹理和尺度变化下无法自适应的局限性。
• 开发一种参数高效的方法，以在学习样本特定、任务特定表征的同时保留领域通用知识。
• 在低数据环境下，以极少的可训练参数实现高性能，同时降低计算和存储成本。

提出的方法

• 应用轻量级瓶颈层，将冻结特征转换，以更好地捕捉医学任务中的领域特定分布。
• 引入可学习的视觉提示作为动态查询，与转换后的特征进行交叉注意力，生成样本特定表征。
• 将注意力后的特征投影回原始维度，并与冻结特征拼接，以保留预训练知识。
• 在多个Transformer层之间共享DVPT模块，以最小化可训练参数数量。
• 仅微调DVPT模块和任务特定层，同时保持预训练主干网络冻结。
• 通过调整提示数量和共享层数量来控制模型容量。

实验结果

研究问题

• RQ1 动态视觉提示微调是否能在仅使用极少可训练参数的情况下提升医学图像分类与分割任务的性能？
• RQ2 在准确率和数据效率方面，DVPT与全微调及其他参数高效方法相比表现如何？
• RQ3 DVPT在多大程度上可减少医学图像分析任务中对标注数据的需求？
• RQ4 提示的动态特性是否增强了对医学图像中复杂纹理和尺度变化的适应能力？
• RQ5 在实际部署中，DVPT如何在参数效率、计算成本与存储开销之间实现平衡？

主要发现

• 在医学图像分类任务中，DVPT的Kappa得分较最先进参数高效微调方法高出2.20%以上，即使仅0.5%的模型参数可训练，也超越了全微调方法。
• 仅使用40%的标注数据，DVPT即可达到全微调使用100%数据时的性能水平，表明标注需求减少了60%。
• 与全微调相比，DVPT在ViT-B/16上将存储成本降低了高达99%，同时训练内存消耗最高减少10.22%。
• 该方法在性能与模型效率之间实现了最佳权衡，FLOPs增加可忽略，且在分割任务中Dice和IoU得分更优。
• 最优性能在使用50个提示时达到，提示数量更多则导致优化困难且无性能增益。
• DVPT模块可跨多个Transformer层共享，显著减少可训练参数数量，同时保持高性能。