[논문 리뷰] Towards Foundation Models and Few-Shot Parameter-Efficient Fine-Tuning for Volumetric Organ Segmentation

Julio Silva-Rodríguez, José Dolz외 1명|arXiv (Cornell University)|2023. 03. 29.

Radiomics and Machine Learning in Medical ImagingMedicine인용 수 3

한 줄 요약

이 논문은 기초 모델을 사용한 부피적 장기 분할을 위한 새로운 소수의 샘플에 효율적인 미세조정(FSEFT) 프레임워크를 제안한다. 공간 어댑터 모듈과 제약 조건이 있는 전도성 추론을 도입하여 최소한의 레이블 데이터로도 파rameter 효율적인 적응을 가능하게 한다. 이 방법은 전체 레이블링에 가까운 성능을 달성하면서도 파라미터 업데이트를 줄이고, 낮은 데이터 환경에서의 임상적 신뢰성을 향상시킨다.

ABSTRACT

The recent popularity of foundation models and the pre-train-and-adapt paradigm, where a large-scale model is transferred to downstream tasks, is gaining attention for volumetric medical image segmentation. However, current transfer learning strategies devoted to full fine-tuning for transfer learning may require significant resources and yield sub-optimal results when the labeled data of the target task is scarce. This makes its applicability in real clinical settings challenging since these institutions are usually constrained on data and computational resources to develop proprietary solutions. To address this challenge, we formalize Few-Shot Efficient Fine-Tuning (FSEFT), a novel and realistic scenario for adapting medical image segmentation foundation models. This setting considers the key role of both data- and parameter-efficiency during adaptation. Building on a foundation model pre-trained on open-access CT organ segmentation sources, we propose leveraging Parameter-Efficient Fine-Tuning and black-box Adapters to address such challenges. Furthermore, novel efficient adaptation methodologies are introduced in this work, which include Spatial black-box Adapters that are more appropriate for dense prediction tasks and constrained transductive inference, leveraging task-specific prior knowledge. Our comprehensive transfer learning experiments confirm the suitability of foundation models in medical image segmentation and unveil the limitations of popular fine-tuning strategies in few-shot scenarios.

연구 동기 및 목표

• 임상적 제약으로 인해 레이블 데이터가 부족한 상황에서 실제적인 소수의 샘플 미세조정 설정을 정의하기 위해.
• 낮은 데이터 환경에서 표준 미세조정의 한계, 즉 과적합과 높은 계산 비용 문제를 해결하기 위해.
• 3D 부피적 분할에 특화된 파라미터 효율적인 미세조정 전략을 개발하기 위해, 공간 어댑터와 작업별 인도적 편향을 활용하기 위해.
• 다양한 공개 CT 데이터셋에서 소수의 샘플 조건 하에서 제안된 방법의 효과성을 평가하기 위해.

제안 방법

• 사전 훈련된 3D 분할 백본의 층 사이에 삽입되는 공간 어댑터 모듈을 도입하여, 장기 분할과 같은 밀도 예측 작업에 특화된 모듈을 설계하였다.
• 해부학적 사전 지식(예: 장기 비율 제약 조건 등)을 추론 중에 통합하는 제약 조건이 있는 전도성 추론 메커니즘을 적용하여 소수의 샘플에서도 일반화 성능을 향상시켰다.
• BTCV 데이터셋에서 사전 훈련된 기초 모델을 기반으로 하여, 어댑터 파라미터만을 통해 미세조정하는 사전 훈련-적응 파라디그마를 사용하였다.
• 어댑터는 소수의 레이블 샘플로 훈련되고, 장기 형태에 대한 사전 지식을 활용하여 추론 단계에서 정규화되는 하이브리드 훈련-추론 전략을 적용하였다.
• 주 백본 가중치는 동결한 채로 어댑터 파라미터만 최적화하여 메모리와 계산 요구량을 크게 줄였다.
• 다양한 공개 CT 데이터셋을 대상으로 다중 데이터셋 평가 프로토콜을 적용하여 제로샷 및 소수의 샘플 전이 능력을 평가하였다.

실험 결과

연구 질문

• RQ1 새로운 장기 분할 작업에 대해 소수의 레이블 샘플만 제공될 경우, 표준 미세조정 방법이 효과적으로 일반화될 수 있는가?
• RQ2 3D 의료 영상 분할에서 낮은 데이터 환경에서 파라미터 효율적인 미세조정 전략은 전체 미세조정에 비해 어떻게 비교되는가?
• RQ3 표준 어댑터 모듈에 비해 공간 어댑터는 밀도 예측 작업에서 성능 향상에 얼마나 기여하는가?
• RQ4 제약 조건이 있는 전도성 추론을 통해 해부학적 사전 지식을 통합하면 소수의 샘플 설정에서 분할 정확도가 향상되는가?
• RQ5 다양한 데이터셋에서 사전 훈련된 기초 모델은 최소한의 레이블 데이터로도 새로운 임상 작업에 효과적으로 적응할 수 있는가?

주요 결과

• 표준 미세조정 방법은 소수의 샘플 조건에서 성능 저하가 심각하게 발생하며, 일부 경우에서 1~5개의 레이블 샘플만으로 DICE 스코어가 0.5 이하로 떨어진다.
• 제안된 공간 어댑터 모듈은 표준 어댑터 대비 평균 DICE 스코어를 최대 0.012 향상시키며, 간과 췌장처럼 복잡한 형태를 가진 장기에서 특히 유의미한 성능 향상을 보였다.
• 제약 조건이 있는 전도성 추론은 성능을 추가로 향상시키며, 5샷 설정에서 최대 0.016의 DICE 스코어 향상을 기록했고, 특히 크거나 비정형적인 형태의 장기에서 두드러진 효과를 보였다.
• 어댑터와 전도성 추론을 모두 포함한 전체 프레임워크는 10샷 설정에서 평균 DICE 스코어 0.783을 달성하여 전체 미세조정 성능(0.787)에 근접했으며, 동시에 파라미터 업데이트 비율은 0.04%에 불과했다.
• 선형 프로빙과 표준 어댑터는 낮은 데이터 환경에서 성능이 열등하며, 10샷 설정에서 선형 프로빙은 평균 DICE 스코어 0.771에 머물러 있어 더 표현력 있는 적응 메커니즘이 필요함을 시사했다.
• 이 방법은 다양한 CT 데이터셋 간에서 잘 일반화되며, 새로운 장기와 영상 프로토콜에 적응할 때에도 강력한 베이스라인에 비해 일관된 성능 향상을 보였다.