[논문 리뷰] Knowledge distillation for semi-supervised domain adaptation

Mauricio Orbes‐Arteaga, M. Jorge Cardoso외 6명|arXiv (Cornell University)|2019. 08. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 11인용 수 5

한 줄 요약

이 논문은 의료 영상 분할을 위한 지식 증류(KD) 기반의 준지도 학습 도메인 적응 방법을 제안한다. 특히 MRI 스캔에서 백질 비정상강화부위(WMH)를 대상으로 한다. 적대적 도메인 적응(ADA)과 달리, KD는 라벨이 없는 타겟 도메인 데이터로부터 소프트 레이블을 사용해 교사 네트워크에서 학생 네트워크로 지식을 전달하며, 보다 높은 디스크 스코어를 달성한다. 이는 타겟 도메인에 대한 레이블이 필요로 하지 않으며, 다양한 스캐너 및 인구 집단에서의 성능 향상을 이룬다.

ABSTRACT

In the absence of sufficient data variation (e.g., scanner and protocol variability) in annotated data, deep neural networks (DNNs) tend to overfit during training. As a result, their performance is significantly lower on data from unseen sources compared to the performance on data from the same source as the training data. Semi-supervised domain adaptation methods can alleviate this problem by tuning networks to new target domains without the need for annotated data from these domains. Adversarial domain adaptation (ADA) methods are a popular choice that aim to train networks in such a way that the features generated are domain agnostic. However, these methods require careful dataset-specific selection of hyperparameters such as the complexity of the discriminator in order to achieve a reasonable performance. We propose to use knowledge distillation (KD) -- an efficient way of transferring knowledge between different DNNs -- for semi-supervised domain adaption of DNNs. It does not require dataset-specific hyperparameter tuning, making it generally applicable. The proposed method is compared to ADA for segmentation of white matter hyperintensities (WMH) in magnetic resonance imaging (MRI) scans generated by scanners that are not a part of the training set. Compared with both the baseline DNN (trained on source domain only and without any adaption to target domain) and with using ADA for semi-supervised domain adaptation, the proposed method achieves significantly higher WMH dice scores.

연구 동기 및 목표

• 라벨이 제한된 상황에서 스캐너 및 인구 집단의 변동으로 인한 도메인 이동 문제를 해결하기 위해.
• 타겟 도메인의 레이블 데이터가 필요 없이도 새로운 도메인으로의 일반화 능력이 뛰어난 도메인 적응 방법을 개발하기 위해.
• 적대적 도메인 적응(ADA)의 주요 한계인 데이터세트별 초파rameter 조정에 대한 의존도를 줄이기 위해.
• 준지도 학습 도메인 적응에서 ADA에 비해 더 단순하고 강건한 대안으로 지식 증류를 평가하기 위해.
• 다양한 스캐너 및 인구 집단 간의 상황에서 백질 비정상강화부위(WMH)의 분할 성능 향상을 입증하기 위해.

제안 방법

• 교사 네트워크는 소스 도메인 데이터(예: Utrecht MRI 스캔)에서 사전 학습된 후, 라벨이 없는 타겟 도메인 이미지에 대해 소프트 확률 분포(로짓)를 생성한다.
• 학생 네트워크는 타겟 도메인 이미지에서 교사의 출력을 모방하도록 훈련되며, 온도 조절된 교차 엔트로피를 사용한 KD 손실을 통해 지식을 증류한다.
• KD 손실은 타겟 도메인의 진짜 레이블이 없더라도, 교사의 소프트 레이블을 통해 클래스 간 유사성 패턴을 학습하도록 유도한다.
• 이 방법은 '즉각적 적응' 및 전통적인 도메인 적응 설정 모두에 적용되며, 소량의 라벨이 없는 타겟 데이터를 활용해 적응을 이끈다.
• 학생 네트워크는 소스 도메인의 지도 학습 손실과 타겟 도메인 데이터에서 교사로부터 유래한 KD 손실을 조합하여 엔드 투 엔드로 미세조정된다.
• 온도 초파ram터는 오직 소스 도메인에서만 조정되며, 타겟 도메인에 특화된 조정이 최소화된다.

실험 결과

연구 질문

• RQ1 지식 증류가 의료 영상 분할의 준지도 학습 설정에서 적대적 도메인 적응(ADA)보다 더 높은 도메인 적응 성능을 달성할 수 있는가?
• RQ2 지식 증류는 ADA보다 다양한 MRI 스캐너 및 인구 집단 간에서 더 잘 일반화되는가?
• RQ3 특히 판별기 복잡성에 대해 지식 증류는 ADA보다 초파라미터 조정에 덜 민감한가?
• RQ4 지식 증류는 깊은 백질 영역의 소규모 또는 분절된 병변에서 ADA에 비해 어떻게 성능을 내는가?
• RQ5 지식 증류는 적대적 방법과 조합되어 더 나은 도메인 간 일반화를 이룰 수 있는가?

주요 결과

• 모든 테스트 도메인 적응 시나리오에서 지식 증류는 기준 DNN 및 ADA보다 유의미하게 높은 평균 디스크 스코어를 달성했으며, 대응 표본 t-검정에서 p-값이 0.05 이하였다.
• 즉각적 적응 시나리오에서 KD는 6개 테스트 케이스 중 5개에서 ADA를 능가했으며, 그 중 4개에서 통계적으로 유의미한 향상이 있었다.
• 도전적인 Utrecht에서 Singapore로의 적응에서는 ADA가 약간 더 높은 성능를 보였지만, 반대로 Singapore에서 Utrecht로의 적응에서는 KD가 더 뛰어난 성능를 보여, 도메인 이동의 비대칭성을 확인했다.
• ADA가 어려움을 겪는 깊은 백질 영역의 소규모 병변에 대해 KD는 더 나은 일반화 능력을 보였으며, 분할 비교를 통해 시각적으로 확인되었다.
• 다양한 타겟 도메인에서 일관된 성능를 유지했으며, 즉각적 적응과 전통적 설정 간 디스크 스코어가 안정적으로 유지되어, 소량의 타겟 데이터에 대한 의존도가 낮고 강건함을 보였다.
• 교사 네트워크를 ADA로 적응된 모델로 교체했을 때, KD의 평균 디스크 스코어는 0.65에서 0.69로 향상되었으며, 이는 더 강력한 교사 네트워크가 KD 성능 향상에 기여함을 시사한다.