[논문 리뷰] PnP-AdaNet: Plug-and-Play Adversarial Domain Adaptation Network with a Benchmark at Cross-modality Cardiac Segmentation

Qi Dou, Cheng Ouyang외 5명|arXiv (Cornell University)|2018. 12. 19.

COVID-19 diagnosis using AI참고 문헌 39인용 수 45

한 줄 요약

PnP-AdaNet는 MRI 기반 분할 모델을 CT로(또는 그 반대로) 교차 모달 심장 분할에 맞게 적응시키는 plug-and-play 적대적 도메인 적응 접근법을 개발하고, 새로운 교차 모달 벤치마크와 광범위한 분석(ablation)을 제공합니다.

ABSTRACT

Deep convolutional networks have demonstrated the state-of-the-art performance on various medical image computing tasks. Leveraging images from different modalities for the same analysis task holds clinical benefits. However, the generalization capability of deep models on test data with different distributions remain as a major challenge. In this paper, we propose the PnPAdaNet (plug-and-play adversarial domain adaptation network) for adapting segmentation networks between different modalities of medical images, e.g., MRI and CT. We propose to tackle the significant domain shift by aligning the feature spaces of source and target domains in an unsupervised manner. Specifically, a domain adaptation module flexibly replaces the early encoder layers of the source network, and the higher layers are shared between domains. With adversarial learning, we build two discriminators whose inputs are respectively multi-level features and predicted segmentation masks. We have validated our domain adaptation method on cardiac structure segmentation in unpaired MRI and CT. The experimental results with comprehensive ablation studies demonstrate the excellent efficacy of our proposed PnP-AdaNet. Moreover, we introduce a novel benchmark on the cardiac dataset for the task of unsupervised cross-modality domain adaptation. We will make our code and database publicly available, aiming to promote future studies on this challenging yet important research topic in medical imaging.

연구 동기 및 목표

• MRI에서 CT로 및 그 반대 방향의 비지도 도메인 적응에 의한 교차 모달 심장 분할의 도전 과제를 다룬다.
• 상위 계층을 공유하면서 초기 인코더 계층을 대체하는 유연한 plug-and-play 도메인 적응 메커니즘을 제안한다.
• 다중 수준 특징 및 마스크 판별기를 이용한 적대적 학습으로 잠재 공간을 정렬한다.
• 심장 분할 벤치마크에서 방법을 검증하고 포괄적인 ablations와 공개 데이터셋/코드 릴리스를 제공한다.
• 의료 영상에서 미래의 교차 모달 도메인 적응 연구를 촉진하기 위한 벤치마크를 구축한다.

제안 방법

• MRI에서 확장된(dilated) 네트워크 아키텍처와 Dice와 cross-entropy 손실의 결합으로 원천 도메인 분할 네트워크를 학습한다.
• 타깃 도메인 데이터를 처리할 때 초기 계층을 대체하는 도메인 적응 모듈(DAM)을 도입하되, 상위 계층은 공유한다.
• 다중 수준 특징에 대한 특징 판별기와 예측 분할 마스크에 대한 마스크 판별기, 두 가지 판별기를 사용하여 특징과 마스크를 정렬하며, 둘 다 Wasserstein 거리를 이용한다.
• 여러 계층의 활성화를 집계하여 적대적 학습의 안정성을 높이고 특징 공간 정렬에 대한 깊은 감독을 가능하게 한다.
• 판별기의 사전 학습과 신중한 하이퍼파라미터 선택(예: Lipschitz 제약, 학습률, 가중치 클리핑)을 포함하는 GAN 유사 교대 학습 구조를 통해 최적화한다.
• 대상 도메인 주석이 필요 없는 비지도 학습 목표를 제공하고, 적대적 피드백에 의존하여 대상 데이터를 소스와 유사한 잠재 공간으로 매핑한다.

실험 결과

연구 질문

• RQ1 비지도 도메인 적응이 MRI에서 CT로의 교차 모달 영상에 대해 다중 클래스 분할을 정렬할 수 있는가?
• RQ2 공유 고수준 계층을 가진 plug-and-play 적응 모듈이 MRI-CT 분포 차이를 효과적으로 이어줄 수 있는가?
• RQ3 다중 수준 특징 및 분할 마스크 판별기가 잠재 공간 정렬과 분할 품질을 향상시키는가?
• RQ4 판별기 균형 및 다중 수준 특징 집계가 적응 성능에 미치는 영향은 무엇인가?
• RQ5 제안한 방법이 MM-WHS 유도 데이터에서 감독 상한 및 다른 도메인 적응 접근법과 비교하여 어떤 성능을 보이나?

주요 결과

• 비지도 교차 모달 적응은 MRI에서 학습된 모델의 경우 CT 분할 성능을 크게 향상시키며, 평균 Dice가 13.2%에서 (적응 없음) 63.9%로 상승한다.
• 대동맥 분할의 상당한 회복을 이끌어내고 일부 구조에 대해 완전 감독 상한에 근접한다.
• 두 판별기의 균형 잡힘과 특징 공간 판별기에 여러 특징 수준을 사용하는 것이 중요하다는 것을 확인하는 구성 변수 분석이 있다.
• 네 가지 심장 구조에서 PnP-AdaNet는 소스만 학습한 경우보다 성능이 크게 향상되었고, 여러 경쟁 방법에 비해 강한 개선을 보인다.
• 저자는 새로운 교차 모달 심장 분할 벤치마크를 공개하고, 앞으로의 연구를 촉진하기 위해 코드와 데이터 세트를 공개할 계획이다.