[논문 리뷰] Collaborative Unsupervised Domain Adaptation for Medical Image Diagnosis

Yifan Zhang, Ying Wei외 5명|arXiv (Cornell University)|2019. 11. 17.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 동료 네트워크 간의 협업 학습을 활용하여 도메인 이탈과 레이블 노이즈를 동시에 해결하는 새로운 방법인 협업형 비지도 도메인 적응(CoUDA)을 제안한다. 예측 불일치를 통해 이행이 어려운 샘플을 식별하고, 노이즈 공적응층을 통해 예측을 정제함으로써 CoUDA는 실제 의료 영상 데이터셋에서 심각한 클래스 불균형과 레이블 노이즈를 가진 환경에서도 87.75%의 정확도를 달성하여 최신 기법들을 능가한다.

ABSTRACT

Deep learning based medical image diagnosis has shown great potential in clinical medicine. However, it often suffers two major difficulties in practice: 1) only limited labeled samples are available due to expensive annotation costs over medical images; 2) labeled images may contain considerable label noises (e.g., mislabeling labels) due to diagnostic difficulties. In this paper, we seek to exploit rich labeled data from relevant domains to help the learning in the target task with unsupervised domain adaptation (UDA). Unlike most existing UDA methods which rely on clean labeled data or assume samples are equally transferable, we propose a novel Collaborative Unsupervised Domain Adaptation algorithm to conduct transferability-aware domain adaptation and conquer label noise in a cooperative way. Promising empirical results verify the superiority of the proposed method.

연구 동기 및 목표

• 레이블이 부족하고 종종 노이즈가 있는 조건에서 의료 영상 진단의 도메인 이탈과 레이블 노이즈라는 이중적 과제를 해결하기 위해.
• 특히 이질적인 의료 영상 도메인에서 모든 샘플이 동일하게 이행 가능한 것은 아니라는 점을 인지함으로써 비지도 도메인 적응(UDA)의 성능을 향상시키기 위해.
• 예측 불일치를 활용하여 이행이 어려운 샘플을 우선시하는 동료 네트워크 간 협업 학습 프레임워크를 개발하여 모델의 강건성을 향상시키기 위해.
• 다양한 노이즈가 있는 시각을 기반으로 예측을 정제하는 공유된 노이즈 공적응층을 통해 원천 데이터의 레이블 노이즈를 극복하기 위해.
• 심각한 클래스 불균형과 노이즈가 있는 애너테이션을 가진 실제 의료 영상 작업에서 뛰어난 진단 성능을 달성하기 위해.

제안 방법

• CoUDA는 기능 추출기와 분류기를 공유하는 두 개의 동료 네트워크를 사용하며, 최종 추론을 위해 예측을 평균화한다.
• 전이 가능성 인식 가중치 $\lambda = 1 - \cos(\hat{y}_1, \hat{y}_2)$ 를 계산하여 두 네트워크의 예측 확률 $\hat{y}_1$ 과 $\hat{y}_2$ 간의 불일치를 기반으로 이행이 어려운 샘플을 식별한다.
• 이 가중치를 사용하여 도메인 적대적 손실 $\mathcal{L}^{adv}$ 를 적용함으로써 도메인을 더 효과적으로 정렬하고, 어려운 샘플에 대해 도메인 차이를 최소화한다.
• 노이즈 공적응층(NCL)을 도입하여 다수의 동료 네트워크에서의 예측을 집계하고, 클래스 조건부 노이즈 가정 하에 노이즈가 있는 레이블에 맞게 예측을 적응시킴으로써 예측을 정제한다.
• 다양성 정규화 손실 $\mathcal{L}^{dis}$ 를 사용하여 동료 네트워크 간의 결정 경계가 서로 다를 수 있도록 유도함으로써 집단 지능을 향상시킨다.
• 전체 학습 목표는 분류 손실 $\mathcal{L}^c$, 적대적 손실 $\mathcal{L}^{adv}$, 다양성 손실 $\mathcal{L}^{dis}$ 및 노이즈 공적응층을 결합하여 정확도, 도메인 정렬, 노이즈 강건성의 공동 최적화를 달성한다.

실험 결과

연구 질문

• RQ1 동료 네트워크 간 협업 학습을 통해 예측 불일치를 탐지하고 이행이 어려운 샘플을 우선시함으로써 의료 영상 진단의 도메인 적응 성능을 향상시킬 수 있는가?
• RQ2 깨끗한 레이블에 의존하지 않고도 비지도 도메인 적응 과정에서 원천 데이터의 레이블 노이즈를 효과적으로 완화할 수 있는가?
• RQ3 동료 네트워크 간의 다양성을 강제로 부여함으로써 도메인 이탈과 레이블 노이즈가 존재하는 환경에서 최종 모델의 강건성과 일반화 성능이 향상되는가?
• RQ4 제안된 방법이 클래스 불균형과 노이즈 있는 애너테이션을 가진 실제 의료 영상 벤치마크에서 기존의 UDA 및 약한 지도 학습 기법들을 얼마나 뛰어나게 성능을 높이는가?
• RQ5 이질적인 의료 영상 데이터에 대한 도메인 적응에서 전이 가능성 인식 가중치 메커니즘이 균일 가중치보다 더 효과적인가?

주요 결과

• CoUDA는 테스트 세트에서 87.75%의 정확도를 달성하여 다음으로 좋은 방법(MCD: 81.77%)을 크게 앞서며 실제 의료 영상 데이터에서 강력한 강건성을 입증했다.
• 절단 실험을 통해 노이즈 공적응층(NCL)과 전이 가능성 인식 적대적 손실($\mathcal{L}^{adv}$)이 가장 중요한 구성 요소임을 확인하였으며, 이 둘을 함께 사용할 경우 정확도가 5% 이상 향상된다.
• 노이즈 공적응층을 제거할 경우 정확도는 82.94%로 떨어지며, 이는 원천 도메인 내 노이즈 레이블의 영향을 줄이기 위해 이 층이 필수적임을 시사한다.
• 단일 동료 네트워크에 분류 손실만을 사용할 경우 정확도는 68.92%에 그치며, 이는 협업 프레임워크의 필요성을 강력히 입증한다.
• 다양성 정규화 손실 $\mathcal{L}^{dis}$ 는 성능 향상에 기여하며, 전체 모델에 추가했을 때 정확도가 85.54%에서 87.75%로 상승함을 보였다.
• 심각한 클래스 불균형과 레이블 노이즈를 효과적으로 처리함을 입증하였으며, 매크로 F1-측정치(87.22%)가 높고 모든 클래스에서 균형 잡힌 정밀도/재현율이 확보됨을 확인했다.