[論文レビュー] MMOTU: A Multi-Modality Ovarian Tumor Ultrasound Image Dataset for Unsupervised Cross-Domain Semantic Segmentation

Qi Zhao, Shuchang Lyu+8 more|arXiv (Cornell University)|Jul 14, 2022

Radiomics and Machine Learning in Medical Imaging被引用数 11

ひとこと要約

本稿では、1,469枚の2次元超音波画像および170枚の造影強調超音波（CEUS）画像を含む、マルチモodalな卵巣腫瘍超音波データセットMMOTUを紹介する。各画像にはピクセル単位のアノテーションとグローバルアノテーションが付与されている。2D画像とCEUS画像間のクロスドメインセマンティックセグメンテーションにおいてドメインシフトを解消するため、著者らは敵対的訓練と特徴量整合化を用いてドメイン固有およびドメイン共通の特徴量を学習する二重スキームドメイン選択ネットワークDS²Netを提案した。この手法は、双方向の教師なしドメイン適応において最先端の性能を達成し、mIoUの向上が最大75.75%に達した。

ABSTRACT

Ovarian cancer is one of the most harmful gynecological diseases. Detecting ovarian tumors in early stage with computer-aided techniques can efficiently decrease the mortality rate. With the improvement of medical treatment standard, ultrasound images are widely applied in clinical treatment. However, recent notable methods mainly focus on single-modality ultrasound ovarian tumor segmentation or recognition, which means there still lacks researches on exploring the representation capability of multi-modality ultrasound ovarian tumor images. To solve this problem, we propose a Multi-Modality Ovarian Tumor Ultrasound (MMOTU) image dataset containing 1469 2d ultrasound images and 170 contrast enhanced ultrasonography (CEUS) images with pixel-wise and global-wise annotations. Based on MMOTU, we mainly focus on unsupervised cross-domain semantic segmentation task. To solve the domain shift problem, we propose a feature alignment based architecture named Dual-Scheme Domain-Selected Network (DS2Net). Specifically, we first design source-encoder and target-encoder to extract two-style features of source and target images. Then, we propose Domain-Distinct Selected Module (DDSM) and Domain-Universal Selected Module (DUSM) to extract the distinct and universal features in two styles (source-style or target-style). Finally, we fuse these two kinds of features and feed them into the source-decoder and target-decoder to generate final predictions. Extensive comparison experiments and analysis on MMOTU image dataset show that DS2Net can boost the segmentation performance for bidirectional cross-domain adaptation of 2d ultrasound images and CEUS images. Our proposed dataset and code are all available at https://github.com/cv516Buaa/MMOTU_DS2Net.

研究の動機と目的

• 医療AI分野におけるマルチモダリティ超音波卵巣腫瘍画像のための標準化されたデータセットの不足に対処すること。
• ドメインシフトがモデルの汎化性能を妨げる2D超音波画像とCEUS画像間のクロスドメインセマンティックセグメンテーションを調査すること。
• ターゲットドメインのアノテーションを必要とせずに、分類性能を向上させる強力な教師なしドメイン適応フレームワークを開発すること。
• 画像モodal間の双方向適応を可能にすることで、将来的なAI駆動の卵巣腫瘍診断の基盤を提供すること。

提案手法

• 著者らは、1,469枚の2D超音波画像および170枚のCEUS画像を含み、ピクセル単位のアノテーションとグローバルアノテーションが付与されたMMOTUというデータセットを構築した。
• ソース（2D）ドメインとターゲット（CEUS）ドメインのそれぞれに別々のエンコーダーを用いることで、モダリティ固有の特徴量を抽出する二重スキームドメイン選択ネットワークDS²Netを提案した。
• ドメイン固有選択モジュール（DDSM）は、各モダリティ固有の特徴量を特定し、保持する。一方、ドメイン共通選択モジュール（DUSM）は、共有され、転送可能な表現を学習する。
• ドメイン間の特徴量を統合するために敵対的訓練を適用し、ドメインシフトを低減させ、汎化性能を向上させた。
• ソースドメインおよびターゲットドメインそれぞれに別々のデコーダーを採用し、ドメイン固有および共通の特徴量を統合することで、正確なセグメンテーションマスクを生成した。
• このフレームワークにより、ターゲットドメインのアノテーションが不要な状態で、2D画像からCEUS画像への分類、およびその逆の双方向適応が可能となった。

実験結果

リサーチクエスチョン

• RQ1 マルチモダリティ超音波データセットは、異なる画像モダリティ間で卵巣腫瘍特徴の表現学習を向上させることができるか？
• RQ2 2D超音波画像からCEUS画像への分類知識の転送、およびその逆の教師なしドメイン適応は、どの程度効果的か？
• RQ3 ドメイン固有およびドメイン共通の特徴量学習コンponentは、ドメインシフト下でセグメンテーション性能をどの程度向上させるか？
• RQ4 超音波画像に臨床的シンボルが存在する場合、セグメンテーション性能に悪影響を及ぼすか？また、モデルはこのようなアーチファクトに対して頑健であるか？

主な発見

• DS²Netは、OTU_2d → OTU_CEUSのクロスドメインセグメンテーションタスクにおいて、mIoUが75.75%を達成し、先行する特徴量整合化手法を上回った。
• OTU_CEUS → OTU_2dの適応タスクにおいても、mIoUが79.20%に達し、優れた双方向汎化能力を示した。
• 画像からシンボルを除去すると性能がわずかに低下（例：1つの設定でmIoUが75.75%から74.62%に低下）するが、その影響は限定的であり、アーチファクトに対してモデルが頑健であることを示唆している。
• アブレーションスタディの結果、ドメイン固有およびドメイン共通の特徴量学習の両方が不可欠であることが確認され、いずれかのコンponentを削除すると性能が低下した。
• 可視化結果から、DS²Netはモダリティ間で腫瘍境界と整合性の高い意味のある解釈可能な特徴量を学習していることが示された。
• 著者らは、画像からシンボルをインpaintingまたは削除することは推奨しないと判明した。なぜなら、シンボルを含む生データは臨床的に関連のある文脈を保持しているためである。