[논문 리뷰] Generalizable Cross-modality Medical Image Segmentation via Style Augmentation and Dual Normalization

Ziqi Zhou, Lei Qi외 3명|arXiv (Cornell University)|2021. 12. 21.

Radiomics and Machine Learning in Medical Imaging인용 수 6

한 줄 요약

이 논문은 스타일 증강과 이중 정규화를 사용하여 다양한 영상 모odalities 간의 일반화 성능을 향상시키기 위한 도메인 일반화 방법을 제안한다. 원본 모달과 유사하거나 다름을 보이는 스타일 증강 이미지를 생성하고, 별도의 배치 정규화 경로를 사용하며 스타일 기반 선택 메커니즘을 적용함으로써, BraTS, Cardiac, Multi-Organ 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다. 특히 도메인 간 큰 이격이 발생하는 어려운 교차 모달 설정에서 뛰어난 성능을 보인다.

ABSTRACT

For medical image segmentation, imagine if a model was only trained using MR images in source domain, how about its performance to directly segment CT images in target domain? This setting, namely generalizable cross-modality segmentation, owning its clinical potential, is much more challenging than other related settings, e.g., domain adaptation. To achieve this goal, we in this paper propose a novel dual-normalization model by leveraging the augmented source-similar and source-dissimilar images during our generalizable segmentation. To be specific, given a single source domain, aiming to simulate the possible appearance change in unseen target domains, we first utilize a nonlinear transformation to augment source-similar and source-dissimilar images. Then, to sufficiently exploit these two types of augmentations, our proposed dual-normalization based model employs a shared backbone yet independent batch normalization layer for separate normalization. Afterward, we put forward a style-based selection scheme to automatically choose the appropriate path in the test stage. Extensive experiments on three publicly available datasets, i.e., BraTS, Cross-Modality Cardiac, and Abdominal Multi-Organ datasets, have demonstrated that our method outperforms other state-of-the-art domain generalization methods. Code is available at https://github.com/zzzqzhou/Dual-Normalization.

연구 동기 및 목표

• 의료 영상 분할에서 도메인 이격, 특히 MRI와 CT와 같은 영상 모달 간 큰 이격 문제를 해결하기 위해.
• 학습 중에 타겟 도메인 데이터에 접근할 수 없더라도, 미리 보지 않은 타겟 도메인으로 일반화할 수 있는 도메인 일반화 방법을 개발하기 위해.
• 실제 임상 환경에서 개인정보 보호나 데이터 부족으로 인해 타겟 도메인 데이터에 접근이 어려운 상황에서도 모델의 강건성을 향상시키기 위해.
• 유사 및 비유사 스타일 증강을 효과적으로 활용하여 특징의 일반화 능력을 향상시키는 방법을 설계하기 위해.

제안 방법

• Bézier 곡선을 사용하여 스타일 증강 이미지를 생성하고, 이를 원본에 유사한 영역과 다름을 보이는 영역으로 분할하여, 향후 타겟 도메인의 변화를 시뮬레이션한다.
• 공통 백본을 사용하지만, 원본에 유사한 스타일 증강 특징와 다름을 보이는 스타일 증강 특징에 대해 별도의 배치 정규화 레이어를 갖는 이중 정규화 모듈을 도입한다.
• 두 정규화 경로의 특징 통계를 추출하기 위해 스타일 임bedding 네트워크를 활용하며, 추론 시 동적 경로 선택을 가능하게 한다.
• 추론 시 타겟 이미지의 스타일 임베딩 기반으로 최적의 정규화 경로를 선택하는 스타일 기반 선택 메커니즘을 적용한다.
• 증강된 시각 간 예측을 일치시키기 위해 교차 엔트로피 손실과 일致성 손실을 사용하여 모델을 엔드 투 엔드로 훈련한다.
• 단일 소스 도메인 훈련 설정을 활용하여, 재학습 없이도 새로운 타겟 모달에 직접 적용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 예를 들어 T2-강조 MRI에서만 훈련된 모델이 타겟 데이터에 접근할 수 없더라도, T1-강조 MRI나 CT와 같은 새로운 타겟 모달로 효과적으로 일반화될 수 있는가?
• RQ2 스틸 증강이 교차 모달 의료 영상에서 관찰되는 외관 변화를 효과적으로 시뮬레이션할 수 있는가?
• RQ3 원본에 유사한 스타일 증강 데이터와 다름을 보이는 스타일 증강 데이터에 대해 별도의 독립된 정규화 경로를 사용할 경우, 단일 경로 또는 앙상블 방법에 비해 일반화 성능이 향상되는가?
• RQ4 추론 시 스타일 기반 경로 선택 메커니즘이 다양한 타겟 도메인 스타일에 효과적으로 적응하는가?
• RQ5 제안된 방법이 어려운 교차 모달 분할 벤치마크에서 기존의 도메인 일반화 및 도메인 적응 방법을 초월할 수 있는가?

주요 결과

• BraTS 데이터셋에서 제안된 방법은 교차 모달 뇌 종양 분할 작업에서 평균 Dice 스코어 50.1%를 기록하였으며, 베이스라인 'DeepAll'(30.6%) 및 'DoFE'(40.0%) 방법보다 유의미하게 뛰어나다.
• 교차 모달 심장 데이터셋에서 방법은 평균 Dice 스코어 84.2%를 달성하여, 새로운 심장 MRI 및 CT 스캔으로의 일반화 능력이 뛰어나다는 것을 입증한다.
• Abdominal Multi-Organ 데이터셋에서 방법은 평균 Dice 스코어 83.7%를 기록하여, 다양한 해부학적 구조와 영상 대비에서의 효과성을 확인한다.
• 절단 실험 결과, 스타일 기반 경로 선택 메커니즘이 개별 경로와 앙상블 예측보다 강건성을 향상시키며 성능을 높임을 보였다.
• Bézier 곡선 제어점 쌍의 수(1–5)에 관계없이 일관된 성능 유지로, 증강 하이퍼파라미터에 대한 민감도가 낮고 안정성을 입증하였다.
• 교차 센터 프로스타트 분할 작업에서 방법은 Dice 스코어 84.19%를 기록하였으며, 교차 모달 일반화에 최적화되었음에도 불구하고 경쟁 가능한 성능을 보였다.