[논문 리뷰] TUNA-Net: Task-oriented UNsupervised Adversarial Network for Disease Recognition in Cross-Domain Chest X-rays

Yuxing Tang, Youbao Tang외 3명|arXiv (Cornell University)|2019. 08. 21.

COVID-19 diagnosis using AI참고 문헌 18인용 수 4

한 줄 요약

TUNA-Net는 사이클-일致한 이미지 간 번역 과정에서 반복적으로 클래스별 의미 정보를 유지함으로써 흉부 X선에서 교차 도메인 폐렴 인식을 가능하게 하는 작업 지향적, 비지도 적대적 네트워크이다. 이는 표적 도메인 레이블이 필요 없이도 소아 X선에서 96.3% AUC를 달성하며, 완전히 지도 학습된 모델의 98.1% AUC에 거의 근접한다.

ABSTRACT

In this work, we exploit the unsupervised domain adaptation problem for radiology image interpretation across domains. Specifically, we study how to adapt the disease recognition model from a labeled source domain to an unlabeled target domain, so as to reduce the effort of labeling each new dataset. To address the shortcoming of cross-domain, unpaired image-to-image translation methods which typically ignore class-specific semantics, we propose a task-driven, discriminatively trained, cycle-consistent generative adversarial network, termed TUNA-Net. It is able to preserve 1) low-level details, 2) high-level semantic information and 3) mid-level feature representation during the image-to-image translation process, to favor the target disease recognition task. The TUNA-Net framework is general and can be readily adapted to other learning tasks. We evaluate the proposed framework on two public chest X-ray datasets for pneumonia recognition. The TUNA-Net model can adapt labeled adult chest X-rays in the source domain such that they appear as if they were drawn from pediatric X-rays in the unlabeled target domain, while preserving the disease semantics. Extensive experiments show the superiority of the proposed method as compared to state-of-the-art unsupervised domain adaptation approaches. Notably, TUNA-Net achieves an AUC of 96.3% for pediatric pneumonia classification, which is very close to that of the supervised approach (98.1%), but without the need for labels on the target domain.

연구 동기 및 목표

• 라벨이 있는 소스 도메인(예: 성인 X선)에서 레이블이 없는 표적 도메인(예: 소아 X선)으로 모델을 이전할 때 발생하는 도메인 이동 문제를 해결한다.
• 이미지 번역 과정에서 클래스별 병변 의미를 유지하지 못하는 기존 비지도 도메인 적응 방법의 한계를 극복한다.
• 교차 도메인 이미지 번역 과정에서 저수준 이미지 세부 정보, 중수준 특징, 고수준 의미적 내용을 유지하는 프레임워크를 개발하여 후속 질병 인식을 지원한다.
• 표적 데이터의 수동 레이블링이 필요 없이 표적 도메인에서 효과적인 질병 인식을 가능하게 하여 임상 레이블링 부담을 감소시킨다.

제안 방법

• 소스 도메인과 표적 도메인을 정렬하기 위해 작업 지향적, 분류 기반으로 훈련된 구성 요소를 갖춘 사이클-일致한 생성 적대적 네트워크(Cycle-GAN 변종)를 제안한다.
• 소스 도메인 레이블을 사용하여 이미지 번역을 안내하면서도 병변 특이적 콘텐츠를 유지하는 클래스 인식 의미 제약 모듈을 통합한다.
• 도메인 간 차이를 최소화하고, 번역된 이미지로부터 실제 이미지를 재구성하며, 도메인 간 중수준 특징을 정규화하는 동시 최적화 프레임워크를 훈련한다.
• 이중 경로 분류 헤드를 사용한다: 하나는 레이블이 있는 소스 도메인용이고, 다른 하나는 합성 이미지와 함께 엔드 투 엔드로 훈련되는 표적 도메인용으로, 온라인 적응을 가능하게 한다.
• 실제 표적 이미지와 합성 표적 이미지 간의 중수준 특징을 정렬하기 위해 특징 구축 손실을 통합하여 일반화 능력을 향상시킨다.
• 적대적 훈련을 적용하여 합성된 표적 도메인 이미지가 해부학적으로 현실적이며 원래 병변 패tern과 의미적으로 충실한지 보장한다.

실험 결과

연구 질문

• RQ1 의료 영상에서 교차 도메인 이미지 번역 과정에서 비지도 도메인 적응 방법이 클래스별 병변 의미를 유지할 수 있는가?
• RQ2 이미지 번역 과정에 소스 도메인 레이블을 통합할 경우, 레이블이 없는 표적 도메인에서 후속 질병 분류 성능에 어떤 영향을 미치는가?
• RQ3 작업 특화 제약 조건을 갖춘 사이클-일치 GAN 프레임워크가 교차 도메인 흉부 X선 폐렴 인식에서 최신 기술(Ubiquitous Domain Adaptation, UDA) 방법을 얼마나 뛰어나게 성능을 내는가?
• RQ4 번역 네트워크와 함께 표적 분류기의 엔드 투 엔드 공동 훈련이 오프라인 훈련 또는 제거된 구성 요소에 비해 성능 향상에 기여하는가?

주요 결과

• TUNA-Net는 소아 흉부 X선 폐렴 분류에서 96.3% AUC를 달성하였으며, 표적 도메인 레이블을 사용해 훈련된 완전한 지도 학습 모델의 98.1% AUC에 매우 가까운 성능을 보였다.
• 동일한 설정에서 최신 기술인 ADDA(91.8% AUC)와 CyCADA(93.5% AUC)보다 성능이 뛰어나다.
• 절단 실험 결과, 표적 분류기의 온라인 엔드 투 엔드 훈련이 가장 중요한 구성 요소로 기여하며 성능 향상에 가장 큰 기여를 했다.
• 특징 구축 손실의 포함과 합성 표적 이미지로부터 소스 이미지 재구성의 적용이 모델의 강건성과 일반화 능력을 크게 향상시켰다.
• 정성적 결과에서는 TUNA-Net이 번역 과정에서 병적 특징(예: 라이브럴 병변)을 유지하는 반면, Cycle-GAN과 CyCADA는 종종 이러한 세부 정보를 흐리게 하거나 상실하는 경향을 보였다.
• TUNA-Net에서 합성된 이미지는 해부학적으로 현실적이며 원본 입력의 병변 콘텐츠를 특히 잘 유지하는 의미적으로 충실한 특징을 지닌다.