[논문 리뷰] Subtype-aware Unsupervised Domain Adaptation for Medical Diagnosis

Xiaofeng Liu, Xiongchang Liu외 8명|arXiv (Cornell University)|2021. 01. 01.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

이 논문은 적응형 가짜 레이블링을 사용하여 교차 도메인 내 하위유형별 밀도 강화와 클래스 간 분리성을 강제함으로써 의료 진단 성능을 햖थ한, 하위유형 인식 기반 비지도 도메인 적응(Unevaluated Domain Adaptation, UDA) 방법을 제안한다. 온라인 클러스터링을 통해 신뢰도 경로 기반 하위그래프 또는 k-means를 활용함으로써, 다중 시야 선천성 심장병 진단 작업에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 이는 이전 방법 대비 정확도에서 최대 1.2% 향상되고 AUC에서 0.009 향상됨.

ABSTRACT

Recent advances in unsupervised domain adaptation (UDA) show that transferable prototypical learning presents a powerful means for class conditional alignment, which encourages the closeness of cross-domain class centroids. However, the cross-domain inner-class compactness and the underlying fine-grained subtype structure remained largely underexplored. In this work, we propose to adaptively carry out the fine-grained subtype-aware alignment by explicitly enforcing the class-wise separation and subtype-wise compactness with intermediate pseudo labels. Our key insight is that the unlabeled subtypes of a class can be divergent to one another with different conditional and label shifts, while inheriting the local proximity within a subtype. The cases of with or without the prior information on subtype numbers are investigated to discover the underlying subtype structure in an online fashion. The proposed subtype-aware dynamic UDA achieves promising results on medical diagnosis tasks.

연구 동기 및 목표

• 의료 영상에서 미세한 하위유형 수준의 조건부 및 레이블 이동을 고려하지 못하는 기존 비지도 도메인 적응(Unevaluated Domain Adaptation, UDA) 방법의 한계를 해결한다.
• 하위유형 레이블 정보가 없이도, 하위유형별 특징 밀도 강화와 클래스 간 분리성을 명시적으로 강제하여 타겟 도메인 분류 성능을 향상시킨다.
• 모르는 하위유형 수에 대응할 수 있도록 최소한의 하이퍼파rameter를 사용하는 신뢰도 경로 기반 하위그래프 기반의 확장 가능한 온라인 클러스터링 프레임워크를 개발한다.
• 실세계 의료 진단 작업에서 하위유형 인식 기반의 밀도 강화가 도메인 불일치를 줄이고 일반화 성능을 향상시키는 데 효과적인지 입증한다.

제안 방법

• 특징 공간에서 클래스 간 분리성과 하위유형별 밀도 강화를 동시에 이끄는 중간 가짜 레이블을 사용하는 동적 UDA 프레임워크를 도입한다.
• 하위유형 수가 사전에 알려진 경우, 간결한 k-means 클러스터링을 적용하여 하위유형 중심을 형성하고, 대비 손실을 통해 내부 하위유형의 밀도 강화를 강제한다.
• 하위유형 수가 알려지지 않은 경우, 소수의 메타하이퍼파rameter를 사용하여 국소 하위유형 구조를 적응적으로 포착하는 신뢰도 경로 기반 하위그래프 기반 방식을 제안한다.
• 과적합을 피하기 위해 노이즈가 많거나 이상치 샘플에 영향을 받지 않도록, 클러스터링 효율성과 성능을 향상시키기 위해 차원 감소 헤드를 통합한다.
• 학습 중에 정보성 있는 음성 샘플을 동적으로 선택하기 위해 온도 제어 기반 임계값을 사용하는 반경 내에서의 어려운 샘플 추출 기법을 적용한다.
• 선천성 심장병 진단에서 특징 표현 학습을 향상시키기 위해 다중 시야 처리 네트워크와 방법을 통합한다.

실험 결과

연구 질문

• RQ1 하위유형 수준의 레이블 및 조건부 이동이 존재할 때, 명시적인 하위유형 인식 기반 밀도 강화가 의료 영상 진단에서 비지도 도메인 적응(Unevaluated Domain Adaptation, UDA) 성능을 향상시킬 수 있는가?
• RQ2 사전 지식으로 하위유형 수가 제공되는 경우와 그렇지 않은 경우에 하위유형 인식 기반 UDA의 성능가 어떻게 달라지는가?
• RQ3 k-means에 의존하지 않고도, 신뢰도 경로 기반 하위그래프 기반 방식이 온라인으로 확장 가능하게 하위유형의 잠재적 구조를 효과적으로 탐지할 수 있는가?
• RQ4 기존의 클래스 수준 정렬 방식에 비해, 하위유형별 밀도 강화를 강제할 경우 도메인 불일치는 어느 정도 감소하는가?
• RQ5 하이퍼파ram터, 예를 들어 하위유형 수(Kₙ) 또는 신뢰도 경로 크기(m)에 대해 제안된 방법이 얼마나 민감한가?

주요 결과

• 제안된 SubUDA 방법은 다중 시야 선천성 심장병 진단 작업에서 96.2% 정확도와 0.911 AUC를 달성하였으며, 최신 기술 수준의 방법들보다 정확도에서 최대 1.2% 향상되고 AUC에서 0.009 향상됨.
• 차원 감소 헤드를 포함한 SubUDA-DR은 이를 포함하지 않은 SubUDA-DR보다 더 높은 성능을 보였으며, 이는 특징 공간 정규화의 중요성을 시사한다.
• 신뢰도 경로 기반 하위그래프 방식(SubUDA-SG, m=8)이 Kₙ=4인 k-means와 유사한 성능을 보였으며, 하이퍼파라미터 조정에 대한 강건성을 입증함.
• 반경 내에서의 어려운 샘플 추출 기법의 임계값 τ에 대해 넓은 범위에서 성능이 안정적으로 유지되어 안정적인 학습 동역학을 보임.
• 공동 클러스터링에서 도출된 최적의 클러스터링 공감도 측정치가 정점 정확도와 일치하여, 안정적인 하위유형 탐지가 모델 성능 향상에 기여함을 검증함.
• 하위유형 수를 1로 설정하여 클래스 수준의 밀도 강화로 되돌릴 경우 성능이 크게 떨어졌으며, 이는 미세한 하위유형 모델링의 유용성을 확인함.