[論文レビュー] Multi-Level Global Context Cross Consistency Model for Semi-Supervised Ultrasound Image Segmentation with Diffusion Model

Fenghe Tang, Jianrui Ding+3 more|arXiv (Cornell University)|May 16, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 14

ひとこと要約

本論文は MGCC を紹介します。半教師ありフレームワークとして Latent Diffusion Model を用いて未ラベルの超音波画像を生成し、マルチレベルのグローバルコンテキストクロス整合性を備えた完全畳み込みネットワークでセグメンテーションを改善します。オープンな乳腺超音波データセット（BUSI）および非公開の甲状腺超音波データセット（TUS）で性能向上を示します。

ABSTRACT

Medical image segmentation is a critical step in computer-aided diagnosis, and convolutional neural networks are popular segmentation networks nowadays. However, the inherent local operation characteristics make it difficult to focus on the global contextual information of lesions with different positions, shapes, and sizes. Semi-supervised learning can be used to learn from both labeled and unlabeled samples, alleviating the burden of manual labeling. However, obtaining a large number of unlabeled images in medical scenarios remains challenging. To address these issues, we propose a Multi-level Global Context Cross-consistency (MGCC) framework that uses images generated by a Latent Diffusion Model (LDM) as unlabeled images for semi-supervised learning. The framework involves of two stages. In the first stage, a LDM is used to generate synthetic medical images, which reduces the workload of data annotation and addresses privacy concerns associated with collecting medical data. In the second stage, varying levels of global context noise perturbation are added to the input of the auxiliary decoder, and output consistency is maintained between decoders to improve the representation ability. Experiments conducted on open-source breast ultrasound and private thyroid ultrasound datasets demonstrate the effectiveness of our framework in bridging the probability distribution and the semantic representation of the medical image. Our approach enables the effective transfer of probability distribution knowledge to the segmentation network, resulting in improved segmentation accuracy. The code is available at https://github.com/FengheTan9/Multi-Level-Global-Context-Cross-Consistency.

研究の動機と目的

• ラベル付き超音波データが限られている課題を、Latent Diffusion Model (LDM) によって生成された合成の未ラベルデータを活用して解決する。
• 拡散確率分布の知識とセマンティックセグメンテーション表現を橋渡ししてモデルの一般化を向上させる。
• マルチレベルのグローバルコンテキストクロス整合性を備えた完全畳み込みネットワークを導入し、超音波画像のグローバル情報をより適切に捉える。
• マルチスケールのアテンションゲートとConvMixerベースのグローバルコンテキストモジュールを用いて特徴移行と頑健性を向上させる。
• オープンソースの乳腺超音波データセット（BUSI）および非公開の甲状腺超音波データセット（TUS）上でフレームワークを評価し、最先端の SSL 手法と比較する。

提案手法

• Latent Diffusion Model を用いて合成超音波画像を生成し、ラベル付きデータとラベルなし実データから未ラベルデータを作成する。
• 共有エンコーダがメインデコーダと複数の異なるグローバルコンテキスト撹乱を持つ補助デコーダへ情報を供給する2段階の学習設定を用いる。
• 異なる長さのConvMixer モジュールを統合して離れた空間的位置を混合し、マルチレベルのグローバルコンテキスト情報を取得する。
• スキップ接続でマルチスケールのアテンションゲートを組み込み、受容野全体で有用なエンコーダ特徴を選択する。
• ラベル付きデータには教師付き成分を、未ラベルデータにはメインデコーダと補助デコーダ間の整合性損失を組み合わせた損失を最適化し、ガウス暖機化スケジュールを用いる。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルからの合成データはセグメンテーションに有用な拡散確率分布知識を提供できるのか。
• RQ2 マルチレベルのグローバルコンテキストクロス整合性は病変の位置や形態の変動に対するセグメンテーションの頑健性を向上させるのか。
• RQ3 ConvMixerベースのグローバルコンテキストとマルチスケールゲートの統合は半教師あり超音波セグメンテーション性能にどのような影響を与えるのか。
• RQ4 類似ドメインの未ラベルデータとターゲットドメインのデータの使用がセグメンテーション性能に及ぼす影響は何か。

主な発見

• MGCC は BUSI および TUS における自己ドメイン実験で、いくつかの SSL ベースラインと比較して IoU、Recall、Precision、F1 を改善する。
• MGCC は BUSI において、ラベル付きデータが少ない状態でも完全教師あり法と競合する性能を発揮する。
• LDM を介した合成未ラベルデータの使用と SSL は、拡散確率知識の転移をセグメンテーションネットワークへ強化する。
• マルチレベルグローバルコンテキスト撹乱と整合性学習を備えた補助デコーダは、多様な形状の病変に対するセグメンテーションの頑健性を向上させる。
• 類似ドメインの未ラベルデータを用いるとドメインギャップにより性能が低下する可能性があり、ドメイン整合の重要性を強調する。