[논문 리뷰] Cross-Modality Brain Tumor Segmentation via Bidirectional Global-to-Local Unsupervised Domain Adaptation

Kelei He, Wen Ji외 8명|arXiv (Cornell University)|2021. 05. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 23인용 수 4

한 줄 요약

이 논문은 다중 모odal MRI를 사용한 교차 모odal 뇌 종양 세분화를 위한 이중 방향 전역-국소 비지도 도메인 적응 프레임워크(BiGL)를 제안한다. 양방향으로 이미지를 동시에 합성하고 특징 표현에서 전역-국소 일관성을 강제함으로써 BiGL은 T1 및 T2 MRI 시퀀스 간에 분할 정확도를 크게 향상시키며, 기준 데이터셋에서 최신 기술 대비 큰 성능 향상을 보였다.

ABSTRACT

Accurate segmentation of brain tumors from multi-modal Magnetic Resonance (MR) images is essential in brain tumor diagnosis and treatment. However, due to the existence of domain shifts among different modalities, the performance of networks decreases dramatically when training on one modality and performing on another, e.g., train on T1 image while performing on T2 image, which is often required in clinical applications. This also prohibits a network from being trained on labeled data and then transferred to unlabeled data from a different domain. To overcome this, unsupervised domain adaptation (UDA) methods provide effective solutions to alleviate the domain shift between labeled source data and unlabeled target data. In this paper, we propose a novel Bidirectional Global-to-Local (BiGL) adaptation framework under a UDA scheme. Specifically, a bidirectional image synthesis and segmentation module is proposed to segment the brain tumor using the intermediate data distributions generated for the two domains, which includes an image-to-image translator and a shared-weighted segmentation network. Further, a global-to-local consistency learning module is proposed to build robust representation alignments in an integrated way. Extensive experiments on a multi-modal brain MR benchmark dataset demonstrate that the proposed method outperforms several state-of-the-art unsupervised domain adaptation methods by a large margin, while a comprehensive ablation study validates the effectiveness of each key component. The implementation code of our method will be released at \url{https://github.com/KeleiHe/BiGL}.

연구 동기 및 목표

• 모델이 한 모달리티에서 학습되고 다른 모달리티에서 테스트될 때 성능이 저하되는 문제를 해결하기 위해, 서로 다른 MRI 모달리티(예: T1에서 T2로) 간의 도메인 이동 문제를 다루는 것.
• 기존 비지도 도메인 적응(UDA) 방법의 한계인 단방향 적응, 비효율적 특징 정렬, 종양 특이적 구조적 변동성에 대한 낮은 처리 능력 등을 극복하는 것.
• 라벨이 부여된 소스 모달리티 데이터만을 사용하여 타겟 모달리티 데이터에 대해 고정도 세분화를 가능하게 하는 유연하고 일반화 능력이 뛰어난 프레임워크를 개발하는 것.
• 이중 방향 이미지 합성과 다중 척도, 주의 기반 표현 정렬을 통합하여 모델 일반화 능력을 향상시키는 것.

제안 방법

• 소스 및 타겟 도메인 양쪽에 대해 이미지를 합성하는 이중 방향 이미지 간 전환 모듈을 도입하여 도메인 간 격차를 메우는 데 기여한다.
• 공유된 가중치를 가진 인코더-디코더 세분화 네트워크를 활용하여 원본 및 합성 이미지에서 종양 마스크를 예측함으로써 공동 최적화를 가능하게 한다.
• 주의 메커니즘을 사용하여 전역 및 국소 수준에서 특징을 양 도메인 간에 정렬하는 전역-국소 일관성 학습 모듈을 적용한다.
• 이미지 전환 브랜치에서 adversarial 훈련을 사용하여 모달리티 특화된 이미지의 현실적인 합성을 보장한다.
• 주의 기반 특징 정렬을 통합하여 분류에 기여하는 종양 영역에 집중하고 불필요한 배경 특징을 억제한다.
• 다양한 수준에서 원본 이미지와 합성 이미지 간의 일관성을 강제하여 안정성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 MRI 모달리티 간의 이중 방향 이미지 합성이 비지도 도메인 적응 환경에서 교차 모달 뇌 종양 세분화 성능을 향상시키는가?
• RQ2 전역-국소 특징 정렬은 큰 도메인 이동이 존재하는 도메인 간 표현 일관성과 세분화 정확도를 어떻게 향상시키는가?
• RQ3 도메인 적응에 주의 메커니즘을 통합하면 적응 과정에서 종양 관련 영역에 집중할 수 있는 능력이 향상되는가?
• RQ4 생성된 방법은 뇌 종양 및 심장 하위 구조 데이터셋에서 최신 기술 대비 세분화 성능에서 어떻게 비교되는가?
• RQ5 재학습 없이도 T1 및 FLAIR와 같은 다른 MRI 시퀀스로 일반화 가능한가?

주요 결과

• BraTS 2018 데이터셋에서 BiGL은 T1-to-T2 적응에서 평균 DSC 10.9%를 기록했으며, T2-to-T1에서는 5.4%를 기록하여 SIFA-TMI 및 Cycada를 포함한 모든 베이스라인을 압도했다.
• MMWHS에서의 교차 모달 심장 하위 구조 세분화 작업에서 BiGL은 MR-to-CT 적응에서 DSC 75.3% 및 ASD 6.2를 달성했으며, AA 클래스에서 SIFA-TMI 대비 DSC 6.4% 향상되었다.
• SIFA-TMI 및 AdaptSegNet 대비 ASD를 1.5–2.0 mm 감소시켜 더 정밀한 윤곽 예측 능력을 보였다.
• 제거 실험을 통해 이중 방향 합성과 전역-국소 일관성 학습이 성능 향상에 필수적임을 확인했다.
• 다양한 모달리티 쌍에 걸쳐 뛰어난 강인성을 보였으며, 시각화 결과는 지표에 매우 가까운 향상된 세분화 윤곽을 보였다.
• 구현 코드는 https://github.com/KeleiHe/BiGL 에 공개되어 재현성과 다른 의료 영상 작업으로의 확장 가능성을 보장한다.