[논문 리뷰] DVPT: Dynamic Visual Prompt Tuning of Large Pre-trained Models for Medical Image Analysis

Along He, Kai Wang외 3명|arXiv (Cornell University)|2023. 07. 19.

Domain Adaptation and Few-Shot LearningComputer Science인용 수 3

한 줄 요약

이 논문은 의료 영상 분석 분야에서 대규모 사전 훈련된 시각 모델을 위한 파rameter 효율적인 미세조정 방법인 DVPT를 제안한다. 동결된 도메인 변환 특징에 대해 적응적으로 주목하는 학습 가능한 동적 시각 프롬프트를 도입함으로써, DVPT는 모델 파라미터의 0.5%만 학습 가능하게 하면서도 최신 기술 수준의 성능을 달성한다. 이는 Kappa 점수에서 전체 미세조정보다 2.20% 이상 뛰어나며, 레이블이 붙은 데이터 요구량을 최대 60% 감소시킨다.

ABSTRACT

Limited labeled data makes it hard to train models from scratch in medical domain, and an important paradigm is pre-training and then fine-tuning. Large pre-trained models contain rich representations, which can be adapted to downstream medical tasks. However, existing methods either tune all the parameters or the task-specific layers of the pre-trained models, ignoring the input variations of medical images, and thus they are not efficient or effective. In this work, we aim to study parameter-efficient fine-tuning (PEFT) for medical image analysis, and propose a dynamic visual prompt tuning method, named DVPT. It can extract knowledge beneficial to downstream tasks from large models with a few trainable parameters. Firstly, the frozen features are transformed by an lightweight bottleneck layer to learn the domain-specific distribution of downstream medical tasks, and then a few learnable visual prompts are used as dynamic queries and then conduct cross-attention with the transformed features, attempting to acquire sample-specific knowledge that are suitable for each sample. Finally, the features are projected to original feature dimension and aggregated with the frozen features. This DVPT module can be shared between different Transformer layers, further reducing the trainable parameters. To validate DVPT, we conduct extensive experiments with different pre-trained models on medical classification and segmentation tasks. We find such PEFT method can not only efficiently adapt the pre-trained models to the medical domain, but also brings data efficiency with partial labeled data. For example, with 0.5\% extra trainable parameters, our method not only outperforms state-of-the-art PEFT methods, even surpasses the full fine-tuning by more than 2.20\% Kappa score on medical classification task. It can saves up to 60\% labeled data and 99\% storage cost of ViT-B/16.

연구 동기 및 목표

• 대규모 사전 훈련된 모델의 미세조정에서 제한된 레이블이 붙은 의료 데이터 문제를 해결한다.
• 의료 영상에서 복잡한 질감 및 스케일 변형에 적응하지 못하는 정적 프롬프트 튜닝 방법의 한계를 극복한다.
• 샘플별로 특화된, 작업에 특화된 표현을 학습하면서도 도메인 일반 지식을 유지하는 파rameter 효율적인 방법을 개발한다.
• 최소한의 학습 가능한 파라미터와 함께 낮은 계산 및 스토리지 비용을 기반으로 한 저자료 환경에서 높은 성능을 달성한다.

제안 방법

• 냉각된 특징을 더 잘 포착할 수 있도록 도메인 특화 분포를 반영할 수 있도록 경량 블로킹 레이어를 적용한다.
• 학습 가능한 시각 프롬프트를 동적 쿼리로 도입하여 변환된 특징과 크로스 어텐션을 수행함으로써 샘플별 표현을 생성한다.
• 주목한 특징을 원래 차원으로 복원하고, 냉각된 특징과 연결함으로써 사전 훈련된 지식을 유지한다.
• DVPT 모듈을 여러 개의 Transformer 레이어에 공유하여 학습 가능한 파라미터 수를 최소화한다.
• 사전 훈련된 백본을 냉각한 채로, 오직 DVPT 모듈과 작업 전용 레이어만 미세조정한다.
• 프롬프트 수와 공유 레이어 수를 조절하여 모델 용량을 제어한다.

실험 결과

연구 질문

• RQ1 동적 시각 프롬프트 튜닝은 최소한의 학습 가능한 파라미터로 의료 영상 분류 및 세분화 작업에서 성능 향상을 이끌 수 있는가?
• RQ2 DVPT는 전체 미세조정 및 기타 파rameter 효율적인 방법과 비교해 정확도와 데이터 효율성 측면에서 어떻게 성과를 내는가?
• RQ3 DVPT는 의료 영상 분석 작업에서 레이블이 붙은 데이터의 필요성을 얼마나 줄일 수 있는가?
• RQ4 프롬프트의 동적 성격이 의료 영상에서 복잡한 질감 및 스케일 변형에 대한 적응성을 향상시키는가?
• RQ5 실제 구현 환경에서 DVPT는 파라미터 효율성, 계산 비용, 스토리지 오버헤드 사이의 균형을 어떻게 유지하는가?

주요 결과

• DVPT는 의료 분류 작업에서 최신 기술 수준의 파rameter 효율적인 미세조정 방법보다 Kappa 점수에서 2.20% 이상 뛰어나며, 모델 파라미터의 0.5%만 학습 가능하게 하면서도 전체 미세조정을 초월한다.
• 레이블이 붙은 데이터의 40%만으로도 전체 데이터(100%)를 사용한 전체 미세조정과 유사한 성능을 달성함으로써, 애너테이션 요구량을 60% 감소시킨다.
• ViT-B/16에서 전체 미세조정 대비 스토리지 비용을 최대 99%까지 감소시키며, 훈련 메모리 사용량도 최대 10.22% 절감한다.
• 성능과 모델 효율성 사이의 최적의 트레이드오프를 달성했으며, FLOPs 증가가 거의 없고, 세분화 작업에서 뛰어난 Dice 및 IoU 점수를 기록한다.
• 50개의 프롬프트에서 최적의 성능을 달성하며, 더 많은 프롬프트 수는 성능 향상 없이 최적화 과정에서 어려움을 야기한다.
• DVPT 모듈은 여러 개의 Transformer 레이어에 공유될 수 있어, 학습 가능한 파라미터 수를 크게 줄이고도 높은 성능을 유지한다.