[논문 리뷰] Unsupervised Bidirectional Cross-Modality Adaptation via Deeply Synergistic Image and Feature Alignment for Medical Image Segmentation

Cheng Chen, Qi Dou외 3명|arXiv (Cornell University)|2020. 02. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 10

한 줄 요약

이 논문은 공유 인코더를 사용하여 생성적 적대적 학습을 통해 이미지 간 번역과 특징 수준의 도메인 불변성을 동시에 최적화함으로써 교차 모odal 분포를 유기적으로 정렬하는 새로운 비지도 도메인 적응 프레임워크인 SIFA를 제안한다. MRI-CT 심장 및 Abdominal 분할 작업에서 평가된 SIFA는 타겟 데이터에 대한 레이블이 없이도 최첨단 기법들을 뛰어넘으며, 양방향 적응을 통해 더 높은 Dice 스코어를 달성한다.

ABSTRACT

Unsupervised domain adaptation has increasingly gained interest in medical image computing, aiming to tackle the performance degradation of deep neural networks when being deployed to unseen data with heterogeneous characteristics. In this work, we present a novel unsupervised domain adaptation framework, named as Synergistic Image and Feature Alignment (SIFA), to effectively adapt a segmentation network to an unlabeled target domain. Our proposed SIFA conducts synergistic alignment of domains from both image and feature perspectives. In particular, we simultaneously transform the appearance of images across domains and enhance domain-invariance of the extracted features by leveraging adversarial learning in multiple aspects and with a deeply supervised mechanism. The feature encoder is shared between both adaptive perspectives to leverage their mutual benefits via end-to-end learning. We have extensively evaluated our method with cardiac substructure segmentation and abdominal multi-organ segmentation for bidirectional cross-modality adaptation between MRI and CT images. Experimental results on two different tasks demonstrate that our SIFA method is effective in improving segmentation performance on unlabeled target images, and outperforms the state-of-the-art domain adaptation approaches by a large margin.

연구 동기 및 목표

• MRI 및 CT와 같은 영상 모달 간의 차이로 인해 발생하는 심각한 도메인 이동 문제를 해결하기 위해.
• 타겟 데이터에 대한 레이블이 필요 없이 비지도 도메인 적응 성능을 향상시키기 위해.
• 이미지 수준과 특징 수준의 도메인 정렬을 하나의 종단 간 프레임워크로 통합하여 상호 보완적 향상을 이루기 위해.
• MRI와 CT 모달 간의 상호 양방향 적응을 가능하게 하여 MRI에서 CT로, CT에서 MRI로의 전이를 지원하기 위해.
• 적대적 학습과 사이클 일致성(cycle-consistency)을 활용하여 이질적인 의료 영상 데이터 간의 모델 일반화 능력을 향상시키기 위해.

제안 방법

• 이미지 및 특징 정렬 브랜치 전반에 걸쳐 공유 특징 인코더를 사용하여 종단 간 훈련과 상호 이득을 가능하게 한다.
• 이미지 수준 정렬은 사이클 일치 손실을 포함한 CycleGAN 스타일의 생성적 적대적 신경망을 통해 수행되며, 소스 도메인 이미지(예: MRI)를 타겟 도메인의 외관(예: CT)으로 변환한다.
• 특징 수준 정렬은 소스 유사 이미지와 분할 예측에서 진짜 및 가짜 특징을 구분하는 다중 판별자를 사용하여 강제로 구현된다.
• 다양한 인코더 단계에 판별자를 배치하여 딥 서포트를 적용함으로써 특징 수준의 도메인 불변성을 강화한다.
• 프레임워크는 적대적 손실, 사이클 일치 손실, 분할 교차 엔트로피 손실을 동시에 최적화하여 이미지 번역과 분할을 통합적으로 최적화한다.
• 훈련 중 소스 및 타겟 역할을 번갈아가며 적용함으로써 양방향 적응을 지원하며, 이는 모달 간 제로샷 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 이미지 및 특징 분포의 유기적 정렬이 교차 모달 의료 영상 분할에서 비지도 도메인 적응 성능을 향상시키는가?
• RQ2 이미지 번역과 특징 정렬을 동시에 최적화하는 것이 별도의 접근 방식에 비해 분할 성능에 어떤 영향을 미치는가?
• RQ3 공유 인코더가 통합 프레임워크 내에서 이미지 및 특징 적응 간 상호 이득을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 방법은 심장과 복부 기관 등 다양한 해부학적 영역과 분할 작업에 일반화되는가?
• RQ5 레이블이 전혀 없는 타겟 데이터에서도 이 프레임워크는 강력한 성능을 달성할 수 있는가?

주요 결과

• SIFA는 심장 하위 구조 분할에서 최첨단 성능을 달성하였으며, MRI에서 평균 Dice 스코어가 90.9, CT에서 83.6을 기록하여 타겟 도메인에서 지도 기반 기준보다 뛰어난 성능을 보였다.
• 복부 다중 기관 분할 작업에서 SIFA는 기존 비지도 도메인 적응 기법들보다 분할 정확도를 크게 향상시켰으며, 복잡한 해부학적 구조에서도 뛰어난 강건성을 입증하였다.
• MRI에서 CT로, CT에서 MRI로의 전이 모두에서 이전 최첨단 기법들보다 크게 뛰어난 성능을 보이며, 양방향 효과성을 확인하였다.
• 제거 실험(ablation study) 결과, 이미지 또는 특징 정렬을 제거할 경우 성능 저하가 발생하여, 두 구성 요소가 상호 보완적으로 기여하고 있음을 검증하였다.
• MRI와 CT 스캔 간 큰 분포 이동이 존재하는 경우에도 SIFA는 높은 성능을 유지하였다.