[論文レビュー] ProSFDA: Prompt Learning based Source-free Domain Adaptation for Medical Image Segmentation

Shishuai Hu, Zehui Liao+1 more|arXiv (Cornell University)|Nov 21, 2022

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

本稿では、医療画像分類のためのプロンプト学習に基づくソースフリー領域適応手法ProSFDAを提案する。この手法は、ターゲットドメインの画像を精緻化するためにドメインに適応した視覚的プロンプトを学習することで、ドメインの乖離を低減する。バッチ正規化統計の整合性を保ち、スタイル拡張特徴一致を用いて特徴の凝縮性を強化することで、ProSFDAは複数ドメインのベンチマークで教師なし領域適応手法と同等の性能を達成する。

ABSTRACT

The domain discrepancy existed between medical images acquired in different situations renders a major hurdle in deploying pre-trained medical image segmentation models for clinical use. Since it is less possible to distribute training data with the pre-trained model due to the huge data size and privacy concern, source-free unsupervised domain adaptation (SFDA) has recently been increasingly studied based on either pseudo labels or prior knowledge. However, the image features and probability maps used by pseudo label-based SFDA and the consistent prior assumption and the prior prediction network used by prior-guided SFDA may become less reliable when the domain discrepancy is large. In this paper, we propose a extbf{Pro}mpt learning based extbf{SFDA} ( extbf{ProSFDA}) method for medical image segmentation, which aims to improve the quality of domain adaption by minimizing explicitly the domain discrepancy. Specifically, in the prompt learning stage, we estimate source-domain images via adding a domain-aware prompt to target-domain images, then optimize the prompt via minimizing the statistic alignment loss, and thereby prompt the source model to generate reliable predictions on (altered) target-domain images. In the feature alignment stage, we also align the features of target-domain images and their styles-augmented counterparts to optimize the source model, and hence push the model to extract compact features. We evaluate our ProSFDA on two multi-domain medical image segmentation benchmarks. Our results indicate that the proposed ProSFDA outperforms substantially other SFDA methods and is even comparable to UDA methods. Code will be available at \url{https://github.com/ShishuaiHu/ProSFDA}.

研究の動機と目的

• 事前学習済みモデルを新しいドメインに展開する際、ソースデータにアクセスできない状況下での医療画像分類におけるドメイン乖離の課題に対処すること。
• 大規模なドメインシフト下で予測が不安定になるため、偽ラベルベースおよび事前知識に基づくSFDA手法の限界を克服すること。
• 事前学習済みソースモデルとラベルなしターゲットデータのみを活用して、適応性能を向上させる手法を開発すること。
• 学習可能なドメインに適応したプロンプトとスタイル拡張特徴一致を導入することで、特徴の凝縮性とドメイン整合性を向上させること。
• データおよびプライバシー制約があるにもかかわらず、ソースフリー設定で教師あり領域適応（UDA）手法と同等の性能を達成すること。

提案手法

• ターゲットドメインの画像に追加される学習可能な画像埋め込みとしてのドメインに適応した視覚的プロンプトを導入し、ソースドメインの特性を模倣する。
• ソースモデルとプロンプト拡張ターゲット画像で微調整されたモデルのバッチ正規化（BN）統計の差異から計算される統計整合損失を最小化することで、プロンプトを最適化する。
• 最適化されたプロンプトを用いて、ソースドメインの分布に統計的に近い画像を精緻化する。
• 精緻化されたターゲット画像とそのスタイル拡張版との間で特徴一致を適用し、特徴の凝縮性を高め、インスタンスレベルのばらつきを低減する。
• 特徴一致段階でセグメンテーション損失と特徴一致損失を併用することで、モデルの汎化性能とドメイン不変性を同時に最適化する。
• 凍結されたソースモデルを用いて、プロンプト拡張ターゲット画像の予測を生成することで、再学習を必要とせず知識蒸留を実現する。

実験結果

リサーチクエスチョン

• RQ1 プロンプト学習は、医療画像分類におけるソースフリー領域適応において、ドメイン乖離を効果的に推定・低減できるか？
• RQ2 大規模なドメインシフトに対処する際、学習可能なドメインに適応したプロンプトは、偽ラベル付けや事前知識に基づく手法と比較してどのように優れているか？
• RQ3 スタイル拡張画像との特徴一致は、どの程度特徴の凝縮性とセグメンテーション性能を向上させるか？
• RQ4 統計整合損失におけるBN層の最適な構成とハイパーパrameter（例：α）は何か？効果的なドメイン乖離推定に適しているか？
• RQ5 ソースデータが存在しないにもかかわらず、提案手法は教師あり領域適応（UDA）手法と同等の性能を達成できるか？

主な発見

• ProSFDAは、2つのマルチドメイン医療画像分類ベンチマークで既存のSFDA手法を上回り、ソースフリー設定で最先端の性能を達成した。
• 「BASE2」ベンチマークにおいて、ODセグメンテーションタスクで94.71 ± 0.01、OCセグメンテーションタスクで85.33 ± 0.08の平均Diceスコアを達成し、ベースラインのSFDA手法を上回った。
• アブレーションスタディの結果、特徴一致段階でセグメンテーション損失と特徴一致損失を併用した場合が最も高い性能を示し、単一のセグメンテーション損失を使用した場合に比べ1.36%の向上を確認した。
• t-SNE可視化により、プロンプト拡張ターゲット画像からの特徴がソースドメイン特徴に近づいていることが確認され、ドメイン乖離推定の有効性が裏付けられた。
• 統計整合損失における最適なハイパーパrameter αは0.01であると判明し、損失計算に最大5つのBNブロックを使用しても性能が頭打ちになることが分かった。
• 本手法はバッチ正規化層を備えたネットワークでのみ有効であり、ドメイン乖離推定にBN統計に依存しているため、現在のアーキテクチャ上の制限を示している。