[论文解读] Less Could Be Better: Parameter-efficient Fine-tuning Advances Medical Vision Foundation Models

Chenyu Lian, Hongyu Zhou+2 more|arXiv (Cornell University)|Jan 22, 2024

COVID-19 diagnosis using AI被引用 5

一句话总结

本论文在三个数据集上对两种自监督胸部放射学基础模型，比较参数高效微调方法 LoRA 与全参数微调，结果显示 LoRA 常常在可调参数远少于 FFT 的情况下优于 FFT，并达到数据效率的最新水平。

ABSTRACT

Parameter-efficient fine-tuning (PEFT) that was initially developed for exploiting pre-trained large language models has recently emerged as an effective approach to perform transfer learning on computer vision tasks. However, the effectiveness of PEFT on medical vision foundation models is still unclear and remains to be explored. As a proof of concept, we conducted a detailed empirical study on applying PEFT to chest radiography foundation models. Specifically, we delved into LoRA, a representative PEFT method, and compared it against full-parameter fine-tuning (FFT) on two self-supervised radiography foundation models across three well-established chest radiograph datasets. Our results showed that LoRA outperformed FFT in 13 out of 18 transfer learning tasks by at most 2.9% using fewer than 1% tunable parameters. Combining LoRA with foundation models, we set up new state-of-the-art on a range of data-efficient learning tasks, such as an AUROC score of 80.6% using 1% labeled data on NIH ChestX-ray14. We hope this study can evoke more attention from the community in the use of PEFT for transfer learning on medical imaging tasks. Code and models are available at https://github.com/RL4M/MED-PEFT.

研究动机与目标

• 由于医学影像标注有限，激发在医学视觉基础模型中探索参数高效微调（PEFT）的动机。
• 评估代表性的 PEFT 方法 LoRA 与胸部放射影像基础模型上的全参数微调进行对比。
• 评估在 NIH ChestX-ray14、CheXpert 和 RSNA pneumonia 数据集上的迁移学习性能。
• 分析 LoRA 在不同模型尺寸与预训练设置下的数据效率与可扩展性。

提出的方法

• 在两种自监督放射影像基础模型（MRM 和 MAE）上，比较 LoRA 与 FFT，这些模型均在 MIMIC-CXR 上进行了预训练。
• 在 1%、10% 和 100% 标注数据条件下，评估 NIH、CheXpert、RSNA 的 AUROC。
• 评估 LoRA 等级、预训练轮数和模型规模对性能的影响。
• 提供消融研究和分析，以理解 LoRA 在医学影像中的数据效率与鲁棒性。
• 在提供的 GitHub 存储库中发布代码和模型。

实验结果

研究问题

• RQ1 LoRA 是否在跨数据集和数据条件下的一系列医学胸部放射学任务中始终优于全参数微调（FFT）？
• RQ2 就标注数据百分比而言，LoRA 相较于 FFT 在医学视觉基础模型上的数据效率有多高？
• RQ3 模型尺寸、预训练轮数和 LoRA 等级如何影响胸部 X 光迁移任务的性能？
• RQ4 像 LoRA 这样的 PEFT 方法是否能够在医学影像中以极少的可调参数实现具有竞争力甚至更优的性能？

主要发现

• 在 MAE 与 MRM 放射影像基础模型的 18 项迁移学习任务中，LoRA 在 13 项上优于 FFT。
• LoRA 在可调参数小于 1% 的情况下，比 FFT 的 AUROC 提升高达 2.9%。
• LoRA 展现出强烈的数据效率，在 1% 和 10% 标注数据下有显著提升（例如 NIH ChestX-ray14 结果）。
• 在 100% 标注数据条件下，LoRA 达到与 FFT 相同的性能，同时仅调优约 1.5% 的参数。
• 扩大基础模型规模并在更大的 ViT 主干上使用 LoRA 还能带来额外的 AUROC 提升（例如 ViT-Large 配合 LoRA 在某些设置中获得比 FFT 更高的 AUROC）。
• 基于自然图像预训练模型的 LoRA 结果显示，为获得强劲的下游性能，需要胸部放射影像的预训练，但与 FFT 相比，LoRA 缓解了模态差距。