[論文レビュー] Less Could Be Better: Parameter-efficient Fine-tuning Advances Medical Vision Foundation Models

Chenyu Lian, Hongyu Zhou+2 more|arXiv (Cornell University)|Jan 22, 2024

COVID-19 diagnosis using AI被引用数 5

ひとこと要約

本論文は、パラメータ効率の高いファインチューニング手法である LoRA を、3つのデータセットにまたがる2つの自己教師付き胸部X線ファウンデーションモデルに対して、全パラメータのファインチューニング FFT と比較して評価し、LoRA がしばしば FFT よりもはるかに少ない tunable parameters で上回り、データ効率の最先端を達成することを示しています。

ABSTRACT

Parameter-efficient fine-tuning (PEFT) that was initially developed for exploiting pre-trained large language models has recently emerged as an effective approach to perform transfer learning on computer vision tasks. However, the effectiveness of PEFT on medical vision foundation models is still unclear and remains to be explored. As a proof of concept, we conducted a detailed empirical study on applying PEFT to chest radiography foundation models. Specifically, we delved into LoRA, a representative PEFT method, and compared it against full-parameter fine-tuning (FFT) on two self-supervised radiography foundation models across three well-established chest radiograph datasets. Our results showed that LoRA outperformed FFT in 13 out of 18 transfer learning tasks by at most 2.9% using fewer than 1% tunable parameters. Combining LoRA with foundation models, we set up new state-of-the-art on a range of data-efficient learning tasks, such as an AUROC score of 80.6% using 1% labeled data on NIH ChestX-ray14. We hope this study can evoke more attention from the community in the use of PEFT for transfer learning on medical imaging tasks. Code and models are available at https://github.com/RL4M/MED-PEFT.

研究の動機と目的

• 医用画像分野の注釈が限られているため、医用ビジョン基盤モデルに対するパラメータ効率の高いファインチューニング（PEFT）の探索を動機づける。
• 代表的なPEFT手法である LoRA を、胸部X線ファウンデーションモデルに対する全パラメータファインチューニングと比較して評価する。
• NIH ChestX-ray14、CheXpert、RSNA pneumonia データセットを横断した転移学習性能を評価する。
• 異なるモデルサイズとプレトレーニング設定での LoRA のデータ効率とスケーラビリティを分析する。

提案手法

• MIMIC-CXR で事前学習された 2 つの自己監視型放射線ファウンデーションモデル（MRM と MAE）で LoRA と FFT を比較する。
• 1%、10%、および 100% のラベル付きデータ制度で NIH、CheXpert、RSNA における AUROC を評価する。
• LoRA のランク、プレトレーニングエポック、モデルスケーリングが性能へ与える影響を評価する。
• 医用画像におけるデータ効率とロラの頑健性を理解するためのアブレーションと分析を提供する。
• 提供された GitHub リポジトリでコードとモデルを公開する。

実験結果

リサーチクエスチョン

• RQ1 LoRA は、データセットとデータ regime を跨いで、医用胸部放射線タスクにおいて一貫して FFT より優れているか？
• RQ2 医用ビジョン基盤モデルにおいて、LoRA はラベル付きデータの割合という観点で FFT と比べてどれほどデータ効率的か？
• RQ3 胸部X線の転移タスクにおいて、モデルサイズ、プレトレーニングエポック、および LoRA のランクは性能にどのように影響するか？
• RQ4 PEFT アプローチ（LoRA など）は、医用画像において最小限の調整可能パラメータで競争力のあるまたは優れた性能を実現できるか？

主な発見

• LoRA は MAE および MRM 放射線ファウンデーションモデルにおける 18 件の転移学習タスクのうち 13 件で FFT を上回った。
• LoRA は、パラメータの調整割合が 1% 未満で、FFT に対して最大 2.9% の AUROC 増分を達成した。
• LoRA は 1% および 10% のラベル付きデータで顕著な利得を示すなど、データ効率が高いことを示した（例： NIH ChestX-ray14 の結果）。
• 100% のラベル付きデータで、LoRA は約 1.5% のパラメータのみを調整しつつ FFT の性能と同等であった。
• 基盤モデルのスケーリングと大規模な ViT バックボーンに LoRA を適用することで、追加の AUROC 改善が得られた（例：ViT-Large で LoRA が FFT より高い AUROC を達成した設定がある）。
• LoRA ベースの結果は、自然画像で事前学習したモデルに対して、強力な下流性能を得るには胸部X線プリトレーニングの必要性を示したが、FFT と比較してモダリティギャップを緩和した。