[논문 리뷰] Multi-Level Global Context Cross Consistency Model for Semi-Supervised Ultrasound Image Segmentation with Diffusion Model

Fenghe Tang, Jianrui Ding외 3명|arXiv (Cornell University)|2023. 05. 16.

Radiomics and Machine Learning in Medical Imaging인용 수 14

한 줄 요약

논문은 MGCC를 도입하는데, Latent Diffusion Model을 사용하여 라벨이 없는 비표지 초음파 이미지를 생성하고 다중 레벨 글로벌 컨텍스트 교차 일관성을 갖춘 완전 합성곱 네트워크로 분할을 개선한다. 이는 오픈 브레스트 초음파 데이터셋(BUSI)과 비공개 갑상선 초음파 데이터셋(TUS)에서 성능 향상을 보여준다.

ABSTRACT

Medical image segmentation is a critical step in computer-aided diagnosis, and convolutional neural networks are popular segmentation networks nowadays. However, the inherent local operation characteristics make it difficult to focus on the global contextual information of lesions with different positions, shapes, and sizes. Semi-supervised learning can be used to learn from both labeled and unlabeled samples, alleviating the burden of manual labeling. However, obtaining a large number of unlabeled images in medical scenarios remains challenging. To address these issues, we propose a Multi-level Global Context Cross-consistency (MGCC) framework that uses images generated by a Latent Diffusion Model (LDM) as unlabeled images for semi-supervised learning. The framework involves of two stages. In the first stage, a LDM is used to generate synthetic medical images, which reduces the workload of data annotation and addresses privacy concerns associated with collecting medical data. In the second stage, varying levels of global context noise perturbation are added to the input of the auxiliary decoder, and output consistency is maintained between decoders to improve the representation ability. Experiments conducted on open-source breast ultrasound and private thyroid ultrasound datasets demonstrate the effectiveness of our framework in bridging the probability distribution and the semantic representation of the medical image. Our approach enables the effective transfer of probability distribution knowledge to the segmentation network, resulting in improved segmentation accuracy. The code is available at https://github.com/FengheTan9/Multi-Level-Global-Context-Cross-Consistency.

연구 동기 및 목표

• LDM에 의해 생성된 합성 라벨이 없는 데이터로 제한된 라벨링된 초음파 데이터의 문제를 해결한다.
• 확산 확률 분포 지식을 의미론적 분할 표현과 연결하여 모델 일반화를 향상시킨다.
• 다중 수준 글로벌 컨텍스트 교차 일관성을 갖춘 완전 합성곱 신경망을 도입하여 초음파 이미지의 전역 정보를 더 잘 포착한다.
• 다중 스케일 주의 게이트와 ConvMixer 기반 글로벌 컨텍스트 모듈을 사용하여 특징 전달 및 강건성을 향상시킨다.
• 오픈 소스 유방 초음파(BUSI) 및 비공개 갑상선 초음파(TUS) 데이터셋에서 프레임워크를 평가하고 최신 SSL 방법과 비교한다.

제안 방법

• Latent Diffusion Model을 사용하여 라벨이 있는 데이터와 라벨이 없는 실제 데이터로부터 라벨이 없는 데이터를 생성한다.
• 공유 인코더가 주 디코더와 서로 다른 글로벌 컨텍스트 섭동을 갖는 다수의 보조 디코더로 연결되는 2단계 학습 방식을 사용한다.
• 다양한 길이를 가지는 ConvMixer 모듈을 통합하여 먼 공간 위치를 섞고 다중 수준의 글로벌 컨텍스트 정보를 얻는다.
• 수용 영역 전반에 걸쳐 정보를 제공하는 인코더 특징을 선택하기 위해 skip-connection에 다중 스케일 주의 게이트를 도입한다.
• 라벨된 데이터에 대한 감독 손실 구성 요소와 라벨이 없는 데이터에서 주 디코더와 보조 디코더 간의 비지도 일관성 손실을 결합한 손실 함수를 최적화하고, 가우시안 워밍업 스케줄을 적용한다.

실험 결과

연구 질문

• RQ1 확산 모델로부터의 합성 데이터가 세그먼테이션에 유용한 확산 확률 분포 지식을 제공할 수 있는가?
• RQ2 다중 수준 글로벌 컨텍스트 교차 일관성이 다양한 병변 위치와 형태에 대한 세그먼테이션 강건성을 향상시키는가?
• RQ3 ConvMixer 기반 글로벌 컨텍스트와 다중 스케일 게이트를 통합하는 것이 반지도 기반 초음파 분할 성능에 어떤 영향을 미치는가?
• RQ4 유사 도메인과 목표 도메인으로부터의 라벨이 없는 데이터를 사용하는 것이 세그먼테이션 성능에 어떤 영향을 미치는가?

주요 결과

• MGCC는 BUSI와 TUS의 자기 도메인 실험에서 IoU, Recall, Precision, F1를 여러 SSL baseline보다 향상시켰다.
• MGCC는 더 적은 라벨 샘플로 BUSI에서 완전 감독 방법과 경쟁력을 보인다.
• LDM을 통한 합성 라벨이 없는 데이터와 SSL 사용이 세분화 네트워크로의 확산 확률 지식 전달을 향상시킨다.
• 다중 수준 글로벌 컨텍스트 섭동과 일관성 학습을 갖춘 보조 디코더가 다양한 모양의 병변에 대한 분할 강건성을 향상시킨다.
• 유사 도메인 라벨이 없는 데이터 실험은 도메인 간 차이로 인해 성능이 저하될 수 있어 도메인 정합의 중요성을 부각시킨다.