[論文レビュー] COSMOS: Cross-Modality Unsupervised Domain Adaptation for 3D Medical Image Segmentation based on Target-aware Domain Translation and Iterative Self-Training

Hyungseob Shin, Hyeongyu Kim+4 more|arXiv (Cornell University)|Mar 30, 2022

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

COSMOS は、注釈付き T1 MRI を偽 T2 MRI に変換するターゲットに特化したドメイン変換を用いて、関係する解剖的構造を保持しながら、3D 医療画像セグメンテーションのためのクロスモダリティ非教師ありドメイン適応フレームワークを提案する。その後、自己学習を繰り返し適用して偽ラベルを精錬し、セグメンテーション性能を向上させる。高解像度 T2 MRI における前庭神経鞘腫瘍（Vestibular Schwannoma）と耳管（cochlea）のセグメンテーションにおいて、それぞれ 0.871 ± 0.063 および 0.842 ± 0.020 の平均 Dice スコアを達成し、crossMoDA チャレンジで優勝した。

ABSTRACT

Recent advances in deep learning-based medical image segmentation studies achieve nearly human-level performance when in fully supervised condition. However, acquiring pixel-level expert annotations is extremely expensive and laborious in medical imaging fields. Unsupervised domain adaptation can alleviate this problem, which makes it possible to use annotated data in one imaging modality to train a network that can successfully perform segmentation on target imaging modality with no labels. In this work, we propose a self-training based unsupervised domain adaptation framework for 3D medical image segmentation named COSMOS and validate it with automatic segmentation of Vestibular Schwannoma (VS) and cochlea on high-resolution T2 Magnetic Resonance Images (MRI). Our target-aware contrast conversion network translates source domain annotated T1 MRI to pseudo T2 MRI to enable segmentation training on target domain, while preserving important anatomical features of interest in the converted images. Iterative self-training is followed to incorporate unlabeled data to training and incrementally improve the quality of pseudo-labels, thereby leading to improved performance of segmentation. COSMOS won the 1 extsuperscript{st} place in the Cross-Modality Domain Adaptation (crossMoDA) challenge held in conjunction with the 24th International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI 2021). It achieves mean Dice score and Average Symmetric Surface Distance of 0.871(0.063) and 0.437(0.270) for VS, and 0.842(0.020) and 0.152(0.030) for cochlea.

研究の動機と目的

• 3D 医療画像セグメンテーションにおけるピxlsレベルのアノテーションの高コストと希少性に対処し、画像モodalitiy 間でドメイン適応を可能にする。
• 臨床的 MRI におけるコントラスト剤の使用と長時間スキャンの依存度を低減し、T1 MRI のアノテーションのみを用いて高解像度 T2 MRI でのセグメンテーションを可能にする。
• 段階的に精錬された偽ラベルを用いた自己学習により、ラベルなしのターゲットドメイン T2 MRI におけるセグメンテーション性能を向上させる。
• T1 から T2 へのモダリティ間変換中に、前庭神経鞘腫瘍や耳管といった重要な解剖的構造を保持する。
• 異なる MRI コントラスト間のドメインギャップを埋める汎用的で非教師ありの 3D セグメンテーションフレームワークを構築する。

提案手法

• ターゲットに特化したドメイン変換ネットワークは、T1 から T2 への変換中に前庭神経鞘腫瘍および耳管の微細な解剖的詳細を保持しながら、画像変換とセグメンテーションを統合して実行する。
• 構造の保持をガイドするため、翻訳プロセスに統合されたセグメンテーションヘッドを備えたサイクル整合性のある生成的敵対ネットワーク（Cycle-GAN）を用いる。
• 反復的自己学習は、実際のラベルなし T2 MRI と、翻訳ネットワークから生成された偽ラベル付き画像を組み合わせて適用し、複数エポックにわたってモデルを更新する。
• 偽ラベル生成時に信頼度ベースのフィルタリングを適用し、低信頼度の予測を除外することで、トレーニングの安定性とラベル品質を向上させる。
• ドメイン変換とセグメンテーションの精錬を交互に実行し、セグメンテーションヘッドが翻訳ネットワークが関連する解剖的特徴に注目するようにガイドする。
• 2段階のトレーニングパイプラインにより、最初の段階でドメイン変換が最適化され、後続段階で共同最適化が行われ、特徴の整合性が向上する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットに特化したドメイン変換は、セグメンテーションに必要な重要な解剖的構造を保持しながら、注釈付き T1 MRI を現実的で偽の T2 MRI に効果的に変換できるか？
• RQ2 段階的に精錬された偽ラベルを用いた反復的自己学習は、ラベルなしのターゲットドメイン T2 MRI におけるセグメンテーション性能を顕著に向上させるか？
• RQ3 ドメイン変換プロセスにセグメンテーションの監視を統合することで、構造の保持とセグメンテーション精度にどのような影響を与えるか？
• RQ4 提案手法は、既存の非教師ありドメイン適応手法を上回る性能を示せるか？
• RQ5 信頼度ベースのフィルタリングは、偽ラベルの品質と下流のセグメンテーション性能にどのような影響を与えるか？

主な発見

• 前庭神経鞘腫瘍のセグメンテーションにおいて、COSMOS は高解像度 T2 MRI で平均 Dice スコア 0.871 ± 0.063 および平均対称表面距離（ASSD）0.437 ± 0.270 を達成した。
• 耳管のセグメンテーションでは、平均 Dice スコア 0.842 ± 0.020 および ASSD 0.152 ± 0.030 を達成し、高い精度と表面の正確性を示した。
• COSMOS は MICCAI 2021 で開催された crossMoDA チャレンジで優勝し、Dice スコアおよび ASSD の両指標で上位3つの手法を上回った。
• 反復的自己学習により、トレーニングの各段階で一貫した増分的改善が見られ、Dice スコアと ASSD の両指標が向上した。
• 信頼度ベースのフィルタリング戦略は、ノイズの多い偽ラベルを効果的に低減させ、安定的かつ信頼性の高いモデル収束に寄与した。
• アブレーションスタディにより、翻訳とセグメンテーションの共同最適化に加え、ターゲットに特化した設計が、解剖的構造の保持とセグメンテーション精度を顕著に向上させたことが確認された。