[논문 리뷰] Understanding Task Aggregation for Generalizable Ultrasound Foundation Models

Fangyijie Wang, Tanya Akumu외 6명|arXiv (Cornell University)|2026. 03. 18.

Domain Adaptation and Few-Shot Learning인용 수 0

한 줄 요약

이 논문은 작업 집계가 27개의 작업에 걸친 통합 초음파 기반 모델(M2DINO)의 성능에 어떤 영향을 미치는지 분석하고, 데이터 규모와 작업 유형이 긍정적/부정적 전이를 좌우하며, 모든 작업 통합 학습이 일반적으로 임상 그룹화 학습보다 더 안정적임을 보여준다.

ABSTRACT

Foundation models promise to unify multiple clinical tasks within a single framework, but recent ultrasound studies report that unified models can underperform task-specific baselines. We hypothesize that this degradation arises not from model capacity limitations, but from task aggregation strategies that ignore interactions between task heterogeneity and available training data scale. In this work, we systematically analyze when heterogeneous ultrasound tasks can be jointly learned without performance loss, establishing practical criteria for task aggregation in unified clinical imaging models. We introduce M2DINO, a multi-organ, multi-task framework built on DINOv3 with task-conditioned Mixture-of-Experts blocks for adaptive capacity allocation. We systematically evaluate 27 ultrasound tasks spanning segmentation, classification, detection, and regression under three paradigms: task-specific, clinically-grouped, and all-task unified training. Our results show that aggregation effectiveness depends strongly on training data scale. While clinically-grouped training can improve performance in data-rich settings, it may induce substantial negative transfer in low-data settings. In contrast, all-task unified training exhibits more consistent performance across clinical groups. We further observe that task sensitivity varies by task type in our experiments: segmentation shows the largest performance drops compared with regression and classification. These findings provide practical guidance for ultrasound foundation models, emphasizing that aggregation strategies should jointly consider training data availability and task characteristics rather than relying on clinical taxonomy alone.

연구 동기 및 목표

• 이질적인 초음파 작업들이 성능 저하 없이 함께 학습될 수 있는지 동기 부여하고 평가합니다.
• 작업 집계 전략이 기관 시스템 전반의 학습 데이터 규모와 어떻게 상호 작용하는지 탐색합니다.
• 적응 가능한 용량을 가능하게 하는 작업-조건 Mixture-of-Experts를 포함한 다기관, 다작업 프레임워크 M2DINO를 개발합니다.
• 27개의 작업에 걸쳐 세 가지 학습 패러다임(작업별, 임상 그룹화, 모든 작업 통합)을 체계적으로 비교합니다.

제안 방법

• 마지막 여섯 개 트랜스포머 층에 배치된 작업-조건 Mixture-of-Experts 블록을 갖춘 DINOv3 기반 인코더 M2DINO를 도입합니다.
• 모든 작업을 공유 공간 피처 맵으로 표현하고 세그멘테이션, 탐지, 분류 및 회귀를 위한 작업별 헤드를 공급하도록 모든 작업을 표현합니다.
• CG 및 AU 패러다임에서 L = sum_t lambda_t L_t 형태의 통합 다중 작업 손실을 사용하고, 작업별 손실은 세그멘테이션에 Dice, 분류에 교차 엔트로피, 회귀에 L1, 탐지 손실을 적용합니다.
• 세 가지 학습 패러다임(작업별, 임상-그룹화, 모든 작업 통합)을 27개의 초음파 작업에서 평가합니다—이 작업은 세그멘테이션, 분류, 탐지, 회귀를 포괄합니다.
• 데이터가 풍부한 그룹과 데이터가 희소한 그룹 간의 성능을 비교하여 전이 패턴과 부정 전이 위험을 분석합니다.

실험 결과

연구 질문

• RQ1 어떤 초음파 작업들이 유의미한 성능 저하 없이 함께 학습될 수 있습니까?
• RQ2 임상 그룹화 학습과 모든 작업 통합 학습에서 학습 데이터 규모가 양의 전이 또는 부정 전이에 어떤 영향을 미칩니까?
• RQ3 작업 유형(세그멘테이션 vs. 분류 vs. 회귀 vs. 탐지)이 집계 결과에 영향을 줍니까?
• RQ4 가용 데이터가 다양할 때 모든 작업 통합 방식이 임상 그룹화 학습보다 더 안정적입니까?
• RQ5 다중 작업 기능을 갖춘 초음파 기초 모델 설계에 대한 실용적인 가이드라인은 어떤 것이 있습니까?

주요 결과

• 집계 효과는 규모 의존적이며 데이터가 풍부한 그룹은 CG/AU로부터 이점을 얻는 반면 데이터가 적은 그룹은 CG 하에서 부정 전이를 겪습니다.
• 모든 작업 통합 학습은 CG보다 그룹 간 더 일관된 성능과 더 적은 큰 감소를 보이며, 특히 작은 데이터 세트에서 그렇습니다.
• 세그멘테이션 작업이 집계 전략에 가장 민감하여 회귀나 분류보다 더 큰 성능 저하를 보입니다.
• 대용량 데이터가 있는 산과에서 CG와 AU는 TS보다 개선되며; 유방 및 폐 그룹에서는 CG가 종종 더 못하고 AU가 더 강건합니다.
• 27개 작업에 걸쳐 AU는 일반적으로 더 안정적인 교차 작업 전이를 보이며 데이터가 부족한 환경에서 학습을 규제화할 수 있습니다.