[논문 리뷰] Unsupervised Cross-Modality Domain Adaptation of ConvNets for Biomedical Image Segmentations with Adversarial Loss

Qi Dou, Cheng Ouyang외 3명|arXiv (Cornell University)|2018. 04. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 12인용 수 33

한 줄 요약

이 논문은 MRI에서 훈련된 컨volutional 신경망을 비대응 CT 데이터로 전이하기 위해 적대적 학습을 사용하는 비지도 다중모odal 도메인 적응 프레임워크를 제안한다. 타깃 데이터에 대한 레이블이 없이도 적대적 손실을 통해 훈련된 플러그 앤 플레이 도메인 적응 모듈(DAM)과 도메인 비평가 모듈(DCM)을 도입함으로써, 심장 구조 분할에서 평균 Dice 점수를 43.4% 향상시켰으며, 도메인 간 큰 차이가 존재하는 상황에서도 뛰어난 성능을 입증하였다.

ABSTRACT

Convolutional networks (ConvNets) have achieved great successes in various challenging vision tasks. However, the performance of ConvNets would degrade when encountering the domain shift. The domain adaptation is more significant while challenging in the field of biomedical image analysis, where cross-modality data have largely different distributions. Given that annotating the medical data is especially expensive, the supervised transfer learning approaches are not quite optimal. In this paper, we propose an unsupervised domain adaptation framework with adversarial learning for cross-modality biomedical image segmentations. Specifically, our model is based on a dilated fully convolutional network for pixel-wise prediction. Moreover, we build a plug-and-play domain adaptation module (DAM) to map the target input to features which are aligned with source domain feature space. A domain critic module (DCM) is set up for discriminating the feature space of both domains. We optimize the DAM and DCM via an adversarial loss without using any target domain label. Our proposed method is validated by adapting a ConvNet trained with MRI images to unpaired CT data for cardiac structures segmentations, and achieved very promising results.

연구 동기 및 목표

• 이미징 물리학으로 인해 데이터 분포가 크게 다를 수 있는 MRI에서 CT로의 다중모달 의료 영상 간 도메인 이동 문제를 해결하기 위해.
• 추가적인 레이블이 없는 CT 데이터에 대해 사전에 훈련된 MRI 분할 모델을 효과적으로 전이하기 위해.
• 적대적 훈련을 사용하여 특징 수준에서 작동하는 유연하고 플러그 앤 플레이식의 도메인 적응 프레임워크를 개발하기 위해.
• 실제 임상 환경에서 다중모달 영상 간 큰 도메인 이동이 존재하는 상황에서 비지도 도메인 적응의 타당성과 효능을 검증하기 위해.

제안 방법

• 소스(MRI) 도메인에서 픽셀 단위의 분할 예측을 위해 확장된 완전 컨volution 네트워크를 사용한다.
• 타깃(CT) 도메인의 특징을 소스(MRI) 도메인의 특징 공간으로 매핑하기 위해 플러그 앤 플레이 도메인 적응 모듈(DAM)을 도입한다.
• 소스 도메인과 적응된 타깃 도메인 특징을 구분하기 위해 컨볼루션 네트워크로 구현된 도메인 비평가 모듈(DCM)을 사용한다.
• DAM과 DCM은 적대적 손실을 통해 최소화 게임 구조에서 공동으로 훈련되며, 타깃 레이블 없이도 엔드 투 엔드 비지도 적응을 가능하게 한다.
• 적응 깊이 d는 네트워크에서 DAM로 대체되는 레이어의 수를 제어하며, 이 하이퍼파라미터는 아블레이션 연구를 통해 최적화된다.
• 비대응 MRI 및 CT 데이터 세트를 사용하여 심장 분할에 대해 프레임워크를 훈련하고 평가하며, 평가 지표로는 Dice 점수와 ASD를 사용한다.

실험 결과

연구 질문

• RQ1 큰 도메인 이동이 존재하는 상황에서도, 사전에 훈련된 MRI 분할 모델을 비대응 CT 데이터로 효과적으로 전이할 수 있는가?
• RQ2 도메인 적응 깊이(d)는 다중모달 의료 영상 분할 성능에 어떤 영향을 미치는가?
• RQ3 타깃 레이블 없이도 적대적 학습만으로 MRI와 CT 모odal 간의 특징 분포를 얼마나 잘 정렬할 수 있는가?
• RQ4 의료 영상 분할 정확도 측면에서, 제안된 방법은 지도 미세조정과 기준 제로샷 전이 방법보다 어떻게 비교되는가?
• RQ5 심장 분할에서 도메인 간 적응에 가장 어려운 해부학적 구조는 무엇이며, 그 이유는 무엇인가?

주요 결과

• 제안된 방법은 MRI에서 비대응 CT 데이터로 전이할 때 네 가지 심장 구조에 대해 평균 Dice 점수를 43.4% 향상시켰으며, 도메인 적응 없이 테스트한 기준 모델 대비 성능 향상을 입증하였다.
• 적응 깊이 d=21인 Seg-CT-UDA 모델은 대동맥 상행부(AA)에서 Dice 점수 0.80을 기록하여 지도 미세조정 모델(Seg-CT-STL)의 성능에 근접함을 보이며, 경계 및 기하 패턴 학습이 효과적으로 이루어졌음을 시사한다.
• d=21인 모델은 네 가지 심장 구조 중 세 곳에서 d=13 및 d=31보다 뛰어난 성능을 보였으며, 이는 중간 정도의 적응 깊이가 능력과 훈련 안정성 사이의 최적 균형을 제공함을 나타낸다.
• Seg-CT-UDA 모델은 레이블이 없는 기준 모델(Seg-CT-noDA)보다 유의미하게 뛰어난 성능을 보였으며, 이는 LV-blood에서 단지 0.8%의 Dice 점수를 기록한 바와 대비된다. 이는 다중모달 전이에 도메인 적응이 필수적임을 강조한다.
• LV-blood 및 LV-myo와 같은 높은 해부학적 복잡성과 낮은 대trast를 보이는 영역에서는 높은 ASD를 보였지만, 이는 경계 노이즈와 명확하지 않은 조직 대비로 인한 것으로 보이며, 제안된 방법은 이러한 영역에서도 유망한 분할 결과를 도출하였다.
• 아블레이션 연구를 통해 적응 깊이를 증가시킬수록 성능 향상이 이루어지며, d=31이 d=13보다 뛰어나다는 점을 확인함으로써, 더 깊은 특징 수준의 적응이 도메인 정렬을 향상시킴을 입증하였다.