[논문 리뷰] Unsupervised Cross-domain Image Classification by Distance Metric Guided Feature Alignment

Qingjie Meng, Daniel Rueckert외 1명|arXiv (Cornell University)|2020. 08. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 4

한 줄 요약

이 논문은 도메인 적대적 훈련을 사용하지 않고도 분류 가능하고 도메인 불변 특징을 학습할 수 있는 새로운 비지도 도메 적응 방법인 거리 메트릭 유도 특징 정렬(MetFA)을 제안한다. 메트릭 학습과 클래스 분포 정렬을 동시에 최적화하여, 교차 장치 태반 초음파 영상 분류에서 최신 기술을 초월하는 성능을 달성하며, 이전 방법 대비 목표 도메인의 F1 스코어를 0.7874로 크게 향상시켰다.

ABSTRACT

Learning deep neural networks that are generalizable across different domains remains a challenge due to the problem of domain shift. Unsupervised domain adaptation is a promising avenue which transfers knowledge from a source domain to a target domain without using any labels in the target domain. Contemporary techniques focus on extracting domain-invariant features using domain adversarial training. However, these techniques neglect to learn discriminative class boundaries in the latent representation space on a target domain and yield limited adaptation performance. To address this problem, we propose distance metric guided feature alignment (MetFA) to extract discriminative as well as domain-invariant features on both source and target domains. The proposed MetFA method explicitly and directly learns the latent representation without using domain adversarial training. Our model integrates class distribution alignment to transfer semantic knowledge from a source domain to a target domain. We evaluate the proposed method on fetal ultrasound datasets for cross-device image classification. Experimental results demonstrate that the proposed method outperforms the state-of-the-art and enables model generalization.

연구 동기 및 목표

• 이미지 촬영 장치의 차이로 인한 의료 영상에서의 도메인 이동 문제를 해결하기 위해.
• 비지도 도메 적응에서 도메인 적대적 훈련의 한계를 극복하기 위해, 이는 종종 목표 도메인에서 분류 가능한 클래스 경계를 유지하지 못하기 때문이다.
• 원천 도메인과 목표 도메인 간에 도메인 불변이면서도 분류 가능한 공통의 잠재 표현 공간을 학습하기 위해.
• 원천 도메인의 레이블이 있는 데이터에서 목표 도메인의 레이블이 없는 데이터로 정밀한 의미 지식을 전이하기 위해, 클래스 분포와 메트릭 학습을 함께 최적화한다.
• 대규모 태반 초음파 스크리닝에 효과적이고 일반화 가능한 딥 러닝 모델을 구현하기 위해, 목표 도메인에 대한 광범위한 애너테이션을 요구하지 않도록 하기 위해.

제안 방법

• 도메인 적대적 훈련을 사용하지 않고도 공통의 잠재 공간을 명시적으로 학습하는 거리 메트릭 유도 특징 정렬(MetFA)을 제안한다.
• 대비 손실 공식을 사용하여 도메인 간 내부 클래스 분산을 최소화하고, 외부 클래스 분산을 최대화함으로써 메트릭 학습을 통합한다.
• 잠재 공간에서 원천 도메인과 목표 도메인의 예측된 클래스 분포를 정렬하기 위해 클래스 분포 정렬을 활용한다.
• 고정된 사전 분포를 사용하여 특징를 공통 잠재 공간에 매핑한 후, 도메인 불변 프로토타입을 추정한다.
• 메트릭 학습과 클래스 분포 정렬을 함께 최적화하는 엔드 투 엔드 딥 러닝 프레임워크를 구축하며, 원천 도메인의 레이블 데이터와 목표 도메인의 레이블 없음 데이터로 훈련한다.
• t-SNE 시각화와 혼동 행렬을 사용하여 특징 군집화 및 분류 성능를 분석한다.

실험 결과

연구 질문

• RQ1 도메인 적대적 훈련 없이도 메트릭 학습을 효과적으로 활용하여 도메인 불변이면서도 분류 가능한 특징를 학습할 수 있는가?
• RQ2 메트릭 학습과 클래스 분포 정렬을 함께 최적화하면 비지도 도메 적응에서 도메인 간 일반화 성능가 향상되는가?
• RQ3 제안된 MetFA 방법은 교차 장치 태반 초음파 영상 분류에서 최신 기술 대비 어떻게 비교되는가?
• RQ4 목표 도메인에서의 적응 성능 향상과 함께 원천 도메인의 성능를 얼마나 잘 유지하는가?
• RQ5 제한된 애너테이션과 심한 도메인 이동이 존재하는 실제 의료 영상 응용 분야로 일반화 가능한가?

주요 결과

• 원천 도메인으로 장치 A, 목표 도메인으로 장치 B를 사용할 때, UDA-MetFA-V는 목표 도메인에서 F1 스코어 0.7874를 기록하여 이전 최고 성능 기술인 MME 방법(0.4565)을 뛰어넘었다.
• LVOT와 RVOT와 같은 유사한 해부학적 시야 간의 혼동을 줄여, 개선된 분류 가능한 특징 학습 능력을 입증했다.
• t-SNE 시각화 결과, 목표 도메인의 특징가 원천 도메인 특징과 더 잘 정렬되어 있으며, 클래스 간에 더 잘 분리되어 있음을 확인했다.
• 장치 B를 원천 도메인, 장치 A를 목표 도메인으로 사용할 경우, UDA-MetFA-V는 목표 도메인에서 F1 스코어 0.6303을 기록하여 DANN(0.3450)과 MME(0.2101)를 크게 앞서며 성능을 뛰어나게 했다.
• 원천 도메인에서도 높은 성능(0.7101)을 유지하여, 적응 과정이 원천 도메인 성능을 떨어뜨리지 않는다는 것을 보여주었다.
• 제거 실험 결과, 메트릭 학습과 클래스 분포 정렬을 모두 포함한 전체 UDA-MetFA-V 모델이 가장 뛰어난 성능를 보이며, 공동 최적화 전략의 효과성을 확인했다.