[논문 리뷰] Less Could Be Better: Parameter-efficient Fine-tuning Advances Medical Vision Foundation Models

Chenyu Lian, Hongyu Zhou외 2명|arXiv (Cornell University)|2024. 01. 22.

COVID-19 diagnosis using AI인용 수 5

한 줄 요약

본 논문은 LoRA(매개변수 효율적 파인튜닝 방법)를 두 개의 self-supervised 흉부 방사선 영상 기초 모델에서 세 개의 데이터셋에 걸쳐 전체 매개변수 파인튜닝과 비교 평가하고, LoRA가 종종 FFT를 능가하며 훨씬 적은 tunable parameters로 데이터 효율성을 극대화하고 최첨단 데이터 효율성을 달성한다는 것을 보여준다.

ABSTRACT

Parameter-efficient fine-tuning (PEFT) that was initially developed for exploiting pre-trained large language models has recently emerged as an effective approach to perform transfer learning on computer vision tasks. However, the effectiveness of PEFT on medical vision foundation models is still unclear and remains to be explored. As a proof of concept, we conducted a detailed empirical study on applying PEFT to chest radiography foundation models. Specifically, we delved into LoRA, a representative PEFT method, and compared it against full-parameter fine-tuning (FFT) on two self-supervised radiography foundation models across three well-established chest radiograph datasets. Our results showed that LoRA outperformed FFT in 13 out of 18 transfer learning tasks by at most 2.9% using fewer than 1% tunable parameters. Combining LoRA with foundation models, we set up new state-of-the-art on a range of data-efficient learning tasks, such as an AUROC score of 80.6% using 1% labeled data on NIH ChestX-ray14. We hope this study can evoke more attention from the community in the use of PEFT for transfer learning on medical imaging tasks. Code and models are available at https://github.com/RL4M/MED-PEFT.

연구 동기 및 목표

• 의료 영상에서 주석이 제한적인 상황으로 인해 의학 영상 기초 모델에 대한 매개변수 효율적 파인튜닝(PEFT)의 탐구를 동기 부여한다.
• 대표적인 PEFT 방법인 LoRA를 흉부 방사선 영상 기초 모델에서 전체 매개변수 파인튜닝과 비교 평가한다.
• NIH ChestX-ray14, CheXpert, RSNA pneumonia 데이터셋에서 전이 학습 성능을 평가한다.
• 다양한 모델 크기와 사전 학습 설정에서 LoRA의 데이터 효율성 및 확장성 분석한다.

제안 방법

• 두 개의 self-supervised 방사선 영상 기초 모델(MRM 및 MAE)을 MIMIC-CXR에서 사전 학습시킨 상태에서 LoRA와 FFT를 비교한다.
• 1%, 10%, 및 100% 라벨 데이터 구간에서 NIH, CheXpert, RSNA의 AUROC를 평가한다.
• LoRA 랭크, 사전 학습 에폭, 모델 확장성이 성능에 미치는 영향을 평가한다.
• 의료 영상에서 LoRA의 데이터 효율성과 로버스트성을 이해하기 위한 애브레이션 및 분석을 제공한다.
• 제공된 GitHub 저장소에 코드와 모델을 공개한다.

실험 결과

연구 질문

• RQ1 LoRA가 데이터셋과 데이터 구간에 걸쳐 의료 흉부 방사선 영상 작업에서 일관되게 FFT를 능가하는가?
• RQ2 의료 비전 기초 모델에서 LoRA의 데이터 효율성은 라벨 데이터 비율 측면에서 FFT에 비해 어떤가?
• RQ3 모델 크기, 사전 학습 에폭, 및 LoRA 랭크가 흉부 X선 전이 작업의 성능에 어떻게 작용하는가?
• RQ4 LoRA와 같은 PEFT 접근 방식이 의료 영상에서 최소한의 조정 가능한 매개변수로도 경쟁력 있거나 더 우수한 성능을 가능하게 할 수 있는가?

주요 결과

• LoRA가 MAE 및 MRM 방사선 영상 기초 모델에서 18개의 전이 학습 과제 중 13개에서 FFT를 능가했다.
• LoRA가 파라미터의 1% 미만만 조정하면서도 FFT 대비 최대 2.9% AUROC 증가를 달성했다.
• LoRA는 데이터 효율성이 강하게 나타났으며 1% 및 10% 라벨 데이터에서 주목할 만한 이점을 보였다(예: NIH ChestX-ray14 결과).
• 100% 라벨 데이터일 때 LoRA는 파라미터의 약 1.5%만 조정하고 FFT 성능에 도달했다.
• 기초 모델을 확장하고 더 큰 ViT 백본에서 LoRA를 사용하면 추가 AUROC 개선이 나타났으며(예: LoRA가 있는 ViT-Large가 일부 설정에서 FFT보다 더 높은 AUROC를 달성)
• 의료 영상에 대한 chest radiography 사전 학습의 필요성이 자연 이미지 사전 학습 기반 모델의 LoRA 기반 결과에서 강한 다운스트림 성능을 달성하는 데 중요하였으나, LoRA는 FFT에 비해 모달리티 간 차이를 완화했다.