[논문 리뷰] Domain Adaptive Medical Image Segmentation via Adversarial Learning of Disease-Specific Spatial Patterns

Hongwei Li, Timo Loehr외 4명|arXiv (Cornell University)|2020. 01. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 8

한 줄 요약

이 논문은 소수의 레이블이 없는 타겟 도메인 이미지를 사용하여 질병별 공간 패턴을 적대적으로 학습함으로써 도메인 간 일반화를 향상시키는 비지도 도메인 적응 프레임워크를 제안한다. 의미 및 경계 인식 레이어를 통합하고, 지도가 없는 상태에서 지도 데이터 없이도 적합도를 모니터링할 수 있는 두 가지 새로운 지표를 도입함으로써, 이 방법은 교차 센터 뇌 병변 분할 작업에서 뚜렷한 성능 향상을 이끌어내며 과적합을 방지한다.

ABSTRACT

In medical imaging, the heterogeneity of multi-centre data impedes the applicability of deep learning-based methods and results in significant performance degradation when applying models in an unseen data domain, e.g. a new centreor a new scanner. In this paper, we propose an unsupervised domain adaptation framework for boosting image segmentation performance across multiple domains without using any manual annotations from the new target domains, but by re-calibrating the networks on few images from the target domain. To achieve this, we enforce architectures to be adaptive to new data by rejecting improbable segmentation patterns and implicitly learning through semantic and boundary information, thus to capture disease-specific spatial patterns in an adversarial optimization. The adaptation process needs continuous monitoring, however, as we cannot assume the presence of ground-truth masks for the target domain, we propose two new metrics to monitor the adaptation process, and strategies to train the segmentation algorithm in a stable fashion. We build upon well-established 2D and 3D architectures and perform extensive experiments on three cross-centre brain lesion segmentation tasks, involving multicentre public and in-house datasets. We demonstrate that recalibrating the deep networks on a few unlabeled images from the target domain improves the segmentation accuracy significantly.

연구 동기 및 목표

• 스캐너 및 프로토콜의 분포 차이로 인해 딥 러닝 모델의 성능이 떨어지는 다기관 의료 영상에서 도메인 이동 문제를 해결한다.
• 타겟 도메인에서 수동 애너테이션을 필요로 하지 않고도 비지도 도메인 적응을 가능하게 한다.
• 소스 도메인 성능를 유지하면서 소수의 이미지를 활용한 프리셋업을 통해 새로운, 알려지지 않은 도메인으로의 일반화 능력을 향상시킨다.
• 타겟 도메인에서 지도 레이블이 제공되지 않을 경우에도 신뢰할 수 있는 훈련 모니터링 메커니즘을 개발한다.

제안 방법

• 질병별 공간 패턴을 특징 분포에 통합하기 위해 의미 및 경계 인식 레이어를 도입한다.
• 소스 및 타겟 도메인의 공간 패턴 분포를 정렬하기 위해 적대적 훈련을 적용함으로써 도메인 일반화 능력을 향상시킨다.
• 분할 전용 판별자(Discriminator)를 사용하여 현실적이고 일관된 예측을 강제함으로써 과적합을 줄인다.
• 지도 없는 도메인 적응(UrDA) 중에 지도 데이터 없이 수렴 상태를 모니터링하기 위해 두 가지 새로운 지표인 예측의 분산과 차이를 제안한다.
• 소수의 레이블이 없는 타겟 이미지에 대해 사전 학습된 분할 네트워크(2D 및 3D)를 미세조정하여 모델을 재보정한다.
• t-SNE를 활용해 특징 분포를 시각화하여 적응 후 병변 및 비병변 특징 간의 분리 가능성 향상을 해석한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 타겟 데이터에서 질병별 공간 패턴에 대한 적대적 학습이 다양한 영상 도메인 간 분할 성능 향상에 기여할 수 있는가?
• RQ2 타겟 도메인에서 지도 레이블이 제공되지 않을 경우, 비지도 도메인 적응 과정을 효과적으로 모니터링하고 안정화할 수 있는가?
• RQ3 의미 및 경계 인식 레이어가 도메인 불변 공간 패턴을 학습하는 데 모델의 능력을 얼마나 향상시키는가?
• RQ4 제안된 방법은 소스 도메인에서의 과적합을 방지하면서도 타겟 도메인에서의 성능 향상을 이끌 수 있는가?
• RQ5 예측의 분산과 차이 지표가 UDA 훈련의 신뢰할 수 있는 정지 기준으로 기능할 수 있는가?

주요 결과

• 모든 구성 요소를 사용했을 때, Utrecht + Amsterdam → Singapore 작업에서 73.9%의 Dice 스코어를 기록하며 교차 센터 뇌 병변 분할 작업에서 유의미한 성능 향상을 이룬다.
• 제거 분석 결과, 마스크 외에 윤곽선 및 역행 지도를 통합할 경우 6.8% 향상된 Dice 스코어를 기록한다.
• 분산과 차이 지표는 최적의 정지 시점(255번째 에포크)을 효과적으로 식별하였으며, 이는 타겟 도메인에서 근접한 전역 최대 성능에 해당한다.
• 특징 시각화 결과, UDA 이후 병변 및 비병변 특징 간의 분리 가능성 향상이 확인되어 특징의 구분 능력 향상이 입증된다.
• 소스 도메인에서의 성능는 안정적으로 유지되며, 훈련 전반에 걸쳐 일관된 검증 지표를 보여 과적합이 발생하지 않았음을 확인한다.
• 이 방법은 2D 및 3D 아키텍처 모두에 대해 일반화 가능하며, 다양한 네트워크 설계 간의 강건성과 전이 가능성(transferability)을 입증한다.