[논문 리뷰] MMOTU: A Multi-Modality Ovarian Tumor Ultrasound Image Dataset for Unsupervised Cross-Domain Semantic Segmentation

Qi Zhao, Shuchang Lyu외 8명|arXiv (Cornell University)|2022. 07. 14.

Radiomics and Machine Learning in Medical Imaging인용 수 11

한 줄 요약

이 논문은 1,469장의 2D 초음파 및 170장의 대조강화초음파(CEUS) 영상으로 구성된 다중모odal 오오바디 종양 초음파 데이터셋인 MMOTU를 소개한다. 각 영상에는 픽셀 단위 및 전반적(annotation) 정보가 포함되어 있다. 2D 초음파 영상과 CEUS 영상 간의 도메인 간 차이(도메인 시프트) 문제를 해결하기 위해, 저자들은 적대적 훈련과 특징 정렬을 통해 도메인 특이적 및 도메인 공통 특징을 학습하는 이중 설계 도메인 선택 네트워크인 DS²Net을 제안한다. 이는 이중 방향 비지도 도메인 적응에서 최신 기술 성능을 달성하며, mIoU 성능 향상 최대 75.75%를 기록한다.

ABSTRACT

Ovarian cancer is one of the most harmful gynecological diseases. Detecting ovarian tumors in early stage with computer-aided techniques can efficiently decrease the mortality rate. With the improvement of medical treatment standard, ultrasound images are widely applied in clinical treatment. However, recent notable methods mainly focus on single-modality ultrasound ovarian tumor segmentation or recognition, which means there still lacks researches on exploring the representation capability of multi-modality ultrasound ovarian tumor images. To solve this problem, we propose a Multi-Modality Ovarian Tumor Ultrasound (MMOTU) image dataset containing 1469 2d ultrasound images and 170 contrast enhanced ultrasonography (CEUS) images with pixel-wise and global-wise annotations. Based on MMOTU, we mainly focus on unsupervised cross-domain semantic segmentation task. To solve the domain shift problem, we propose a feature alignment based architecture named Dual-Scheme Domain-Selected Network (DS2Net). Specifically, we first design source-encoder and target-encoder to extract two-style features of source and target images. Then, we propose Domain-Distinct Selected Module (DDSM) and Domain-Universal Selected Module (DUSM) to extract the distinct and universal features in two styles (source-style or target-style). Finally, we fuse these two kinds of features and feed them into the source-decoder and target-decoder to generate final predictions. Extensive comparison experiments and analysis on MMOTU image dataset show that DS2Net can boost the segmentation performance for bidirectional cross-domain adaptation of 2d ultrasound images and CEUS images. Our proposed dataset and code are all available at https://github.com/cv516Buaa/MMOTU_DS2Net.

연구 동기 및 목표

• 의료 AI 분야에서 다중모달 초음파 오오바디 종양 영상에 대한 표준화된 데이터셋 부족 문제를 해결하기 위해.
• 2D 초음파 영상과 CEUS 영상 간의 도메인 간 차이로 인해 모델의 일반화 능력이 저하되는 도메인 간 의미적 세그멘테이션 문제를 탐구하기 위해.
• 타겟 도메인의 레이블 없이도 세그멘테이션 성능을 향상시킬 수 있는 강력한 비지도 도메인 적응 프레임워크를 개발하기 위해.
• 이중 방향 적응을 통해 영상 모odal 간의 상호 교환 가능성을 확보함으로써 향후 AI 기반 오오바디 종양 진단의 기초를 마련하기 위해.

제안 방법

• 저자들은 1,469장의 2D 초음파 및 170장의 CEUS 영상으로 구성된 픽셀 단위 및 전반적 레이블이 포함된 데이터셋인 MMOTU를 구축한다.
• 소스(2D) 및 타겟(CEUS) 도메인에 대해 별도의 인코더를 사용하는 이중 설계 도메인 선택 네트워크인 DS²Net을 제안한다.
• 도메인 특이적 선택 모듈(DDSM)은 각 도메인 고유의 특징을 식별하고 유지하며, 도메인 공통 선택 모듈(DUSM)은 공통으로 사용 가능한 이식 가능한 표현을 학습한다.
• 특징 간 정렬과 함께 적대적 훈련을 적용하여 도메인 간 특징를 정렬함으로써 도메인 시프트를 감소시키고 일반화 능력을 향상시킨다.
• 소스 및 타겟 도메인에 각각 별도의 디코더를 사용하여 도메인 특이적 특징와 공통 특징를 융합하여 정확한 세그멘테이션 마스크를 생성한다.
• 프레임워크는 타겟 도메인 레이블 없이도 2D 영상에서 CEUS 영상으로, 또는 그 반대로의 이중 방향 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 다중모달 초음파 데이터셋은 다양한 영상 모달 간 오오바디 종양 특징의 표현 학습을 향상시킬 수 있는가?
• RQ2 2D 초음파 영상에서 CEUS 영상으로, 또는 그 반대로의 비지도 도메인 적응은 얼마나 효과적인가?
• RQ3 도메인 특이적 및 도메인 공통 특징 학습 구성 요소는 도메인 시프트 상황에서 세그멘테이션 성능 향상에 얼마나 기여하는가?
• RQ4 초음파 영상에 포함된 임상 기호가 세그멘테이션 성능을 저하시키는가? 그리고 모델은 이러한 잡음에 대해 얼마나 강건한가?

주요 결과

• DS²Net은 OTU_2d → OTU_CEUS 도메인 간 세그멘테이션 작업에서 평균 교차율(mIoU) 75.75%를 기록하며, 이전의 특징 정렬 기법들을 초월한다.
• OTU_CEUS → OTU_2d 적응 작업에서 mIoU는 79.20%를 기록하여 이중 방향 일반화 능력이 뛰어나다는 것을 입증한다.
• 이미지에서 기호를 제거하면 성능이 약간 저하되나(예: 한 설정에서 mIoU 75.75% → 74.62%), 영향은 제한적이므로 모델이 이러한 잡음에 대해 강건함을 시사한다.
• 제거 실험 결과, 도메인 특이적 및 도메인 공통 특징 학습이 모두 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능 저하가 발생한다.
• 시각화 결과는 DS²Net이 모달 간 종양 경계에 잘 맞는 의미 있는 해석 가능한 특징을 학습함을 보여준다.
• 저자들은 기호를 인painting하거나 제거하는 것은 권장되지 않으며, 기호가 포함된 원본 데이터가 임상적으로 유의미한 맥락을 유지하므로 보존하는 것이 바람직하다고 판단한다.