[논문 리뷰] EvalBlocks: A Modular Pipeline for Rapidly Evaluating Foundation Models in Medical Imaging

Jan Tagscherer, Sarah de Boer외 8명|arXiv (Cornell University)|2026. 01. 07.

Radiomics and Machine Learning in Medical Imaging인용 수 0

한 줄 요약

EvalBlocks는 의료 영상 작업에서 여러 기초 모델을 캐시와 재현성, 클러스터 실행 준비를 갖춘 Snakemake 기반의 모듈식 워크플로우로 신속하게 평가합니다.

ABSTRACT

Developing foundation models in medical imaging requires continuous monitoring of downstream performance. Researchers are burdened with tracking numerous experiments, design choices, and their effects on performance, often relying on ad-hoc, manual workflows that are inherently slow and error-prone. We introduce EvalBlocks, a modular, plug-and-play framework for efficient evaluation of foundation models during development. Built on Snakemake, EvalBlocks supports seamless integration of new datasets, foundation models, aggregation methods, and evaluation strategies. All experiments and results are tracked centrally and are reproducible with a single command, while efficient caching and parallel execution enable scalable use on shared compute infrastructure. Demonstrated on five state-of-the-art foundation models and three medical imaging classification tasks, EvalBlocks streamlines model evaluation, enabling researchers to iterate faster and focus on model innovation rather than evaluation logistics. The framework is released as open source software at https://github.com/DIAGNijmegen/eval-blocks.

연구 동기 및 목표

• 의료 영상 모델 개발 중 기초 모델의 신속하고 재현 가능한 평가 필요성에 대한 동기를 부여합니다.
• Snakemake를 기반으로 한 모듈식 플러그 앤 플레이 평가 프레임워크를 제안합니다.
• 여러 의료 영상 분류 작업에서 여러 기초 모델을 평가하여 프레임워크를 시연합니다.
• 중앙 집중식 실험 추적 및 캐시가 반복 속도와 물류 부담을 줄이는 방법을 강조합니다.

제안 방법

• 특징 추출, 선택적 집계, 평가를 Snakemake 규칙으로 수행하는 모듈식 파이프라인을 구현합니다.
• 새로운 데이터셋, 기초 모델, 집계 방법 및 평가 전략의 원활한 통합을 지원합니다.
• 실험을 선언하고 단일 명령으로 재현 가능한 결과를 가능하게 하는 중앙 집중식 구성을 사용합니다.
• 생산 환경과 유사한 캐싱 및 병렬 실행을 가능하게 하여 클러스터 환경(Slurm 등)에 적합합니다.
• 다섯 가지 기초 모델을 세 가지 악성 분류 작업에 대해 다양한 집계 및 평가 전략으로 평가합니다.
• 임베딩 분석(LDA, PCA, t-SNE)을 위한 시각화 블록을 제공하여 해석을 돕습니다.

Figure 1 : In our framework, pipeline steps are implemented as self-contained blocks. Foundation models embed input patches, and these feature embeddings can be optionally aggregated and then evaluated. The pipeline blocks can be freely extended and plugged into each other, enabling fast, reproducib

실험 결과

연구 질문

• RQ1 모듈식이고 재사용 가능한 파이프라인이 의료 영상에서 기초 모델의 반복 평가를 어떻게 가속화할 수 있는가?
• RQ2 다양한 집계 전략이 모델 및 모달리티 간 다운스트림 분류 성능에 어떤 영향을 미치는가?
• RQ3 중앙 집중식 실험 추적 및 캐싱이 여러 기초 모델 간 비교 시 평가 시간 감소와 재현성 향상에 기여하는가?
• RQ4 다양한 평가 전략(kNN, 선형 탐색, 시각화)이 데이터셋 간 악성 구분에 어떤 차별화를 보여주는가?
• RQ5 내부 데이터셋에 대해 로컬 및 클러스터 인프라에서 이러한 프레임워크를 실행하는 실용성은 얼마나 되는가?

주요 결과

• EvalBlocks는 다수의 모델, 작업 및 구성에 걸친 자동화되고 재현 가능한 평가를 가능하게 합니다.
• 프레임워크는 캐싱과 병렬 실행을 통해 빠른 반복을 지원하여 시간 wall-time을 줄입니다.
• 데이터셋과 모달리티에 따라 다양한 모델이 서로 다른 강점을 보이며, 시연에서 모든 작업을 지배하는 단일 모델은 존재하지 않습니다.
• 집계 방법(예: 모달리티 간 평균)은 성능에 영향을 미치고 융합 전략의 빠른 프로토타이핑을 용이하게 할 수 있습니다.
• 시각화 분석은 임베딩 분리성에 대한 해석 가능한 지점을 제공하고 추가 모델 개발을 안내합니다.

Figure 2 : A visualization of model results on our CT datasets created by running EvalBlocks, with error bars depicting the standard deviation across folds. While CT-FM [ 9 ] and Curia [ 3 ] perform best on PANORAMA [ 1 ] , UMedPT [ 11 ] is slightly more accurate on AMARA. Our pipeline allows for fa