[논문 리뷰] Semantic-Aware Generative Adversarial Nets for Unsupervised Domain Adaptation in Chest X-ray Segmentation

Cheng Chen, Qi Dou외 2명|arXiv (Cornell University)|2018. 06. 02.

COVID-19 diagnosis using AI참고 문헌 16인용 수 9

한 줄 요약

이 논문은 흉부 X-ray 폐 세분화를 위한 비지도 도메인 적응을 위한 의미 인식 기반 생성 적대 기반 네트워크 SeUDA를 제안한다. 타겟 이미지를 소스 도메인과 유사하게 변환하면서도 레이블 공간 내의 중첩된 적대적 손실을 통해 의미적 구조를 유지함으로써, 사전 훈련된 소스 세분화 네트워크를 직접 추론에 활용할 수 있도록 하여, 타겟 레이블이 전혀 필요 없이 감독 학습 기반 전이 학습 성능에 비견되는 성능을 달성한다.

ABSTRACT

In spite of the compelling achievements that deep neural networks (DNNs) have made in medical image computing, these deep models often suffer from degraded performance when being applied to new test datasets with domain shift. In this paper, we present a novel unsupervised domain adaptation approach for segmentation tasks by designing semantic-aware generative adversarial networks (GANs). Specifically, we transform the test image into the appearance of source domain, with the semantic structural information being well preserved, which is achieved by imposing a nested adversarial learning in semantic label space. In this way, the segmentation DNN learned from the source domain is able to be directly generalized to the transformed test image, eliminating the need of training a new model for every new target dataset. Our domain adaptation procedure is unsupervised, without using any target domain labels. The adversarial learning of our network is guided by a GAN loss for mapping data distributions, a cycle-consistency loss for retaining pixel-level content, and a semantic-aware loss for enhancing structural information. We validated our method on two different chest X-ray public datasets for left/right lung segmentation. Experimental results show that the segmentation performance of our unsupervised approach is highly competitive with the upper bound of supervised transfer learning.

연구 동기 및 목표

• 영상 촬영 프로토콜 또는 임상 센터의 차이로 인한 의료 영상 세분화의 도메인 이동 문제 해결.
• 타겟 레이블이 필요 없이 소스 도메인 세분화 모델을 새로운 타겟 데이터셋으로 일반화할 수 있는 비지도 도메인 적응 방법 개발.
• 폐와 같은 해부학적 구조에서 왜곡을 방지하기 위해 이미지 간 번역 중 의미적 구조의 통합성 유지.
• 모델의 유연성과 배포 효율성을 유지하면서도 감독 학습 기반 전이 학습 성능에 근접한 성능 달성.

제안 방법

• 소스 도메인의 외관을 갖는 타겟 이미지를 변환하면서도 의미적 내용을 유지하기 위해, 사이클 GAN 기반 프레임워크를 활용한다.
• 의미적 레이블 공간 내에서 중첩된 적대적 학습을 통합하여 새로운 의미 인식 손실을 도입함으로써 이미지 번역 중 구조 일관성 향상.
• 세 가지 손실을 조합: 도메인 분포 정렬을 위한 GAN 손실, 픽셀 수준의 내용 유지 보장을 위한 사이클 일관성 손실, 구조 무결성 확보를 위한 의미 인식 손실.
• 세분화 네트워크를 도메인 적응 과정에서 분리하여, 사전 훈련된 소스 모델을 사용해 변환된 타겟 이미지에 직접 추론할 수 있도록 한다.
• 학습 안정성 향상과 구조 보존 향상을 위해, 적대적 손실, 사이클 일관성 손실, 의미 인식 손실을 종합적으로 사용하여 이미지 번역 네트워크를 엔드 투 엔드로 훈련한다.
• 소스 도메인에서 고해상도 및 고밀도 세분화 예측을 위해, 확장된 컨볼루션과 다중 스케일 브랜치를 갖춘 수정된 ResNet-101 백본을 사용한다.

실험 결과

연구 질문

• RQ1 비지도 도메인 적응 방법이 흉부 X-ray 영상에서 감독 학습 기반 전이 학습 성능과 비슷한 세분화 성능을 달성할 수 있는가?
• RQ2 기존의 사이클 GAN과 비교해 볼 때, 제안된 의미 인식 손실이 이미지 간 번역 중 해부학적 구조를 얼마나 효과적으로 유지하는가?
• RQ3 소스 도메인 세분화 모델을 새로운 타겟 데이터셋에 적용할 때, 제안된 방법이 도메인 이동로 인한 성능 저하를 얼마나 줄이는가?
• RQ4 세분화 모델에서 도메인 적응 과정을 분리하여, 재학습 없이도 변환된 이미지에 직접 추론할 수 있는가?
• RQ5 제안된 방법은 다양한 무작위 초기화 설정에서 얼마나 안정적인가? 의미 인식 손실이 학습 일관성을 향상시키는가?

주요 결과

• 제안된 SeUDA 방법은 타겟 데이터셋에서 평균 딱지 점수(Dice score) 94.70%를 기록하여 베이스라인 T-noDA(79.47%)와 T-HistM(91.03%)를 크게 앞서며 성능을 뛰어넘었다.
• SeUDA는 평균 대칭 평균 표면 거리(ASD)를 T-noDA의 11.04 mm에서 3.51 mm로 감소시켜 세분화 정확도 향상을 입증했다.
• SeUDA는 UDA 베이스라인 CyUDA보다 평균 딱지 점수에서 1.49% 향상되고 ASD에서 1.01 mm 향상되었으며, 성능 변동성이 크게 낮아 (딱지 표준편차: 0.25% vs. 2.03%) 유의미하게 안정적인 성능을 보였다.
• SeUDA는 감독 학습 기반 전이 학습(T-STL)과 매우 유사한 성능을 보였으며, 오른쪽 폐의 경우 딱지 점수 격차가 1.32% 이하, 왼쪽 폐의 경우 2.42% 이하로 매우 낮았다.
• 시각화 결과 SeUDA는 CyUDA와 달리 이미지 번역 과정에서 해부학적 구조와 임상적 단서를 잘 유지함을 확인했다.
• 의미 인식 손실은 학습 안정성을 높이고 초기화에 대한 민감도를 감소시켜, 10회 반복 실험에서 딱지 및 ASD의 표준편차가 유의미하게 낮아, 학습 일관성 향상을 입증했다.