[論文レビュー] EvalBlocks: A Modular Pipeline for Rapidly Evaluating Foundation Models in Medical Imaging

Jan Tagscherer, Sarah de Boer+8 more|arXiv (Cornell University)|Jan 7, 2026

Radiomics and Machine Learning in Medical Imaging被引用数 0

ひとこと要約

EvalBlocksは、キャッシング、再現性、クラスタ準備実行を備えたSnakemakeベースのモジュール式ワークフローを提供し、医用画像タスク上で複数のファウンデーションモデルを高速に評価します。

ABSTRACT

Developing foundation models in medical imaging requires continuous monitoring of downstream performance. Researchers are burdened with tracking numerous experiments, design choices, and their effects on performance, often relying on ad-hoc, manual workflows that are inherently slow and error-prone. We introduce EvalBlocks, a modular, plug-and-play framework for efficient evaluation of foundation models during development. Built on Snakemake, EvalBlocks supports seamless integration of new datasets, foundation models, aggregation methods, and evaluation strategies. All experiments and results are tracked centrally and are reproducible with a single command, while efficient caching and parallel execution enable scalable use on shared compute infrastructure. Demonstrated on five state-of-the-art foundation models and three medical imaging classification tasks, EvalBlocks streamlines model evaluation, enabling researchers to iterate faster and focus on model innovation rather than evaluation logistics. The framework is released as open source software at https://github.com/DIAGNijmegen/eval-blocks.

研究の動機と目的

• 医用画像モデル開発の際、ファウンデーションモデルの迅速で再現性のある評価の必要性を動機づける。
• Snakemakeに基づくモジュール式、プラグアンドプレイの評価フレームワークを提案する。
• 複数の医用画像分類タスクで複数のファウンデーションモデルを評価してフレームワークを実証する。
• 集中化された実験追跡とキャッシングがイテレーションを加速し、物流負担を軽減することを強調する。

提案手法

• ブロックが特徴抽出、任意の集約、評価をSnakemakeルールとして実行するモジュール型パイプラインを実装する。
• 新しいデータセット、ファウンデーションモデル、集約方法、評価戦略のシームレスな統合をサポートする。
• 実験を宣言し、単一コマンドで再現性のある結果を実現する集中化された設定を使用する。
• クラスタ環境（例：Slurm）に適した生産的なキャッシングと並列実行を有効にする。
• 3つの悪性分類タスクにわたって5つのファウンデーションモデルを評価し、複数の集約・評価戦略を用いる。
• 埋め込み解析（LDA、PCA、t-SNE）用の可視化ブロックを提供し、解釈を支援する。

Figure 1 : In our framework, pipeline steps are implemented as self-contained blocks. Foundation models embed input patches, and these feature embeddings can be optionally aggregated and then evaluated. The pipeline blocks can be freely extended and plugged into each other, enabling fast, reproducib

実験結果

リサーチクエスチョン

• RQ1 医用画像におけるファウンデーションモデルの反復評価をモジュール式・再利用可能なパイプラインでどのように加速できるか？
• RQ2 異なる集約戦略が、モデルおよびモダリティ間での下流分類性能に与える影響はどの程度か？
• RQ3 集中化された実験追跡とキャッシングは、複数のファウンデーションモデルを比較する際に評価時間を短縮し、再現性を向上させるか？
• RQ4 さまざまな評価戦略（kNN、リニアプロービング、可視化）は、データセット間で悪性を判別する際にどのように比較されるか？
• RQ5 社内データセットのためのローカルおよびクラスタ基盤でこのフレームワークを実用的に運用できるか？

主な発見

• EvalBlocksは、複数モデル・タスク・構成全体で自動化された再現可能な評価を可能にする。
• キャッシングと並列実行によりイテレーションの高速化をサポートし、ウォールタイムを削減する。
• データセットとモダリティにより異なる強みを示すモデルが存在し、デモンストレーションの全タスクを単一のモデルが支配するわけではない。
• 集約方法（例：モダリティ間の平均）は性能に影響を与え、融合戦略の迅速なプロトタイピングを促進する。
• 可視化解析は埋め込みの分離性を解釈可能な洞察として提供し、さらなるモデル開発を導く。

Figure 2 : A visualization of model results on our CT datasets created by running EvalBlocks, with error bars depicting the standard deviation across folds. While CT-FM [ 9 ] and Curia [ 3 ] perform best on PANORAMA [ 1 ] , UMedPT [ 11 ] is slightly more accurate on AMARA. Our pipeline allows for fa