[論文レビュー] Understanding Task Aggregation for Generalizable Ultrasound Foundation Models

Fangyijie Wang, Tanya Akumu+6 more|arXiv (Cornell University)|Mar 18, 2026

Domain Adaptation and Few-Shot Learning被引用数 0

ひとこと要約

本論文は、統一型超音波ファウンデーションモデル（M2DINO）におけるタスク集約が性能へ与える影響を27タスクで分析し、データスケールとタスクタイプが正の転移/負の転移を支配すること、全タスク統一訓練が臨床グルーピング訓練より一般的に安定していることを示す。

ABSTRACT

Foundation models promise to unify multiple clinical tasks within a single framework, but recent ultrasound studies report that unified models can underperform task-specific baselines. We hypothesize that this degradation arises not from model capacity limitations, but from task aggregation strategies that ignore interactions between task heterogeneity and available training data scale. In this work, we systematically analyze when heterogeneous ultrasound tasks can be jointly learned without performance loss, establishing practical criteria for task aggregation in unified clinical imaging models. We introduce M2DINO, a multi-organ, multi-task framework built on DINOv3 with task-conditioned Mixture-of-Experts blocks for adaptive capacity allocation. We systematically evaluate 27 ultrasound tasks spanning segmentation, classification, detection, and regression under three paradigms: task-specific, clinically-grouped, and all-task unified training. Our results show that aggregation effectiveness depends strongly on training data scale. While clinically-grouped training can improve performance in data-rich settings, it may induce substantial negative transfer in low-data settings. In contrast, all-task unified training exhibits more consistent performance across clinical groups. We further observe that task sensitivity varies by task type in our experiments: segmentation shows the largest performance drops compared with regression and classification. These findings provide practical guidance for ultrasound foundation models, emphasizing that aggregation strategies should jointly consider training data availability and task characteristics rather than relying on clinical taxonomy alone.

研究の動機と目的

• 異種の超音波タスクをパフォーマンスを損なうことなく共学習できるかを動機づけ、評価する。
• 組織系ごとの訓練データスケールとタスク集約戦略の相互作用を探る。
• 適応能力を可能にするタスク条件付きミクスチャー・オブ・エクスパーツを備えたマルチオーガン・マルチタスク框架である M2DINO を開発する。
• 27 タスクに跨る3つの訓練パラダイム（タスク固有、臨床グループ、全タスク統一）を体系的に比較する。

提案手法

• M2DINO を導入する。これは最後の6つのトランス form 層に配置されたタスク条件付きミクスチャー・オブ・エクスパーツブロックを備えた DINOv3 ベースのエンコーダである。
• すべてのタスクを共有の空間特徴マップで表現し、セグメンテーション、検出、分類、回帰のためのタスク固有ヘッドへ供給する。
• 統一的なマルチタスク損失 L = sum_t lambda_t L_t を用い、CG および AU パラダイムの下でタスク固有損失（セグメンテーションは Dice、分類はクロスエントロピー、回帰は L1、検出損失）を組み合わせる。
• 27 タスクを跨ぐ3つの訓練パラダイム（タスク固有、臨床グループ、全タスク統一）を評価する。
• データ量の豊富なグループと希少なグループ間で転移パターンと負の転移リスクを比較・分析する。

実験結果

リサーチクエスチョン

• RQ1 どの超音波タスクを顕著な性能低下を伴わずに共学習できるか。
• RQ2 臨床グループ訓練と全タスク統一訓練の下で、訓練データのスケールが正の転移あるいは負の転移にどう影響するか。
• RQ3 タスクタイプ（セグメンテーション対分類対回帰対検出）は集約結果に影響を与えるか。
• RQ4 データ可用性の変化に対して、全タスク統一アプローチは臨床グループ訓練より安定か。
• RQ5 マルチタスク機能を備える超音波ファウンデーションモデルを設計する際の実用的なガイドラインは何か。

主な発見

• 集約の有効性はスケールに強く依存する；データ量が豊富なグループでは CG/AU が有利で、低データグループでは CG 下で負の転移が生じやすい。
• 全タスク統一訓練は、CG よりも一貫した性能とグループ間での大きな低下を抑える傾向があり、特に小規模データセットで顕著。
• セグメンテーションタスクは集約戦略に最も敏感で、回帰や分類よりも大きな性能低下を示す。
• 産科領域ではデータが多い場合、CG と AU は TS を上回る改善を示す一方、乳腺・肺グループでは CG がしばしば劣り、AU の方がよりロバスト。
• 27タスク全体で、AU は一般にクロス・タスク転移をより安定させ、データ不足設定で学習を正則化できる。