[論文レビュー] Target and Task specific Source-Free Domain Adaptive Image Segmentation

Vibashan VS, Jeya Maria Jose Valanarasu+1 more|arXiv (Cornell University)|Mar 29, 2022

Domain Adaptation and Few-Shot Learning被引用数 16

ひとこと要約

本稿では、2段階の自己教師付きドメイン適応手法であるTT-SFUDAを提案する。最初の段階（ターゲット固有の適応）ではアンサンブルエントロピー最小化と選択的投票を用いて偽ラベルの品質を向上させ、2番目の段階（タスク固有の適応）では学生・教師フレームワークを用いてセグメンテーション性能を精緻化する。この手法は、2Dフンタスおよび3D MRIデータセットにおける7つのドメインシフトにおいて、既存のUDAおよびSFUDA手法を上回る最先端の性能を達成する。

ABSTRACT

Solving the domain shift problem during inference is essential in medical imaging, as most deep-learning based solutions suffer from it. In practice, domain shifts are tackled by performing Unsupervised Domain Adaptation (UDA), where a model is adapted to an unlabelled target domain by leveraging the labelled source data. In medical scenarios, the data comes with huge privacy concerns making it difficult to apply standard UDA techniques. Hence, a closer clinical setting is Source-Free UDA (SFUDA), where we have access to source-trained model but not the source data during adaptation. Existing SFUDA methods rely on pseudo-label based self-training techniques to address the domain shift. However, these pseudo-labels often have high entropy due to domain shift and adapting the source model with noisy pseudo-labels leads to sub-optimal performance. To overcome this limitation, we propose a systematic two-stage approach for SFUDA comprising of target-specific adaptation followed by task-specific adaptation. In target-specific adaptation, we enhance the pseudo-label generation by minimizing high entropy regions using the proposed ensemble entropy minimization loss and a selective voting strategy. In task-specific adaptation, we exploit the enhanced pseudo-labels using a student-teacher framework to effectively learn segmentation on the target domain. We evaluate our proposed method on 2D fundus datasets and 3D MRI volumes across 7 different domain shifts where we perform better than existing UDA and SFUDA methods for medical image segmentation. Code is available at https://github.com/Vibashan/tt-sfuda.

研究の動機と目的

• プライバシー制約によりソースデータが入手できない状況下で、医療画像セグメンテーションにおけるドメインシフトの課題に対処すること。
• ソースフリー自己教師付きドメイン適応（SFUDA）におけるノイズが多く、エントロピーの高い偽ラベルの問題を克服すること。
• ターゲット固有の学習とタスク固有の学習を分離することで、より高い耐性を実現する体系的な2段階適応フレームワークの構築。
• アンサンブルエントロピー最小化と選択的投票を用いて、予測の不確実性を低減させることで偽ラベルの品質を向上させること。
• ソースデータなしの環境下で、多様な医療画像セグメンテーションベンチマークにおいて最先端の性能を達成すること。

提案手法

• 2段階のフレームワークを導入：第1段階は偽ラベル品質の向上を目的としたターゲット固有の適応、第2段階はセグメンテーションの精緻化を目的としたタスク固有の適応。
• 同一画像の複数の増幅ビューにおいて、偽ラベルの高エントロピー領域を低減するアンサンブルエントロピー最小化（EEM）損失を提案。
• 増幅された予測において一貫して高エントロピーである領域を特定し、より信頼性の高い偽ラベルを生成する選択的投票戦略を実装。
• 第2段階では、強い増幅と弱い増幅を用いて予測の一貫性を強制する学生・教師自己学習フレームワークを適用し、セグメンテーションの一般化性能を向上。
• 第1段階で得られた強化された偽ラベルを第2段階の監督信号として使用し、ソースデータにアクセスできない状況下でも効果的なターゲットドメインへの適応を可能に。
• EEM、選択的投票、学生・教師損失を組み合わせて、ラベル品質とセグメンテーション精度の両方を同時に最適化するエンドツーエンドの学習を実施。

実験結果

リサーチクエスチョン

• RQ1 アンサンブルエントロピー最小化と選択的投票による偽ラベル品質の向上が、医療画像セグメンテーションにおけるソースフリー領域適応の性能向上に寄与するか？
• RQ2 ターゲット固有の適応をタスク固有の適応の前に実施する順序が、モデル性能に顕著な影響を及えるか？
• RQ3 強化された偽ラベルを活用する学生・教師フレームワークは、ドメインシフト下でのタスク固有のセグメンテーション学習においてどの程度有効か？
• RQ4 提案された損失関数（EEM、SV、ST）が個別および総合的に性能向上にどの程度寄与しているか？
• RQ5 2段階のフレームワークは、2Dおよび3Dの医療画像モodalitiesにおける多様なドメインシフトに一般化可能か？

主な発見

• TT-SFUDAは、2Dフンタスおよび3D MRIデータセットにおける7つの異なるドメインシフトにおいて、既存のUDAおよびSFUDA手法を上回る最先端の性能を達成した。
• CHASE-BRデータセットでは、CHASE → HRFのドメインシフトにおいて、58.25 ± 1.06の平均Diceスコアを達成し、適応順序を逆転させた場合に2番目に高い性能を示した手法（55.20 ± 1.45）を顕著に上回った。
• アブレーションスタディの結果、EEM、選択的投票、学生・教師損失を組み合わせることで最良の性能が得られ、特に高ドメインギャップ状況下では学生・教師損失単体でも最大14.4%の性能向上が確認された。
• 適応の順序が重要である：ターゲット固有の適応をタスク固有の適応の前に実施することで優れた結果が得られ、逆に実施するとノイズへの過学習により性能が低下した。
• HRF → RITEのドメインシフトにおいて、TT-SFUDAは58.37 ± 1.03のDiceスコアを達成し、次に高い性能を示した手法（52.63 ± 1.36）を5.7ポイント以上上回った。
• 本手法は2Dおよび3Dの両モダリティにおいて一貫した性能向上を示し、多様な医療画像環境におけるドメインシフトに対する耐性を確認した。