[논문 리뷰] Bridge the Domain Gap Between Ultra-wide-field and Traditional Fundus Images via Adversarial Domain Adaptation

Lie Ju, Xin Wang외 6명|arXiv (Cornell University)|2020. 03. 23.

Retinal Imaging and Analysis참고 문헌 26인용 수 4

한 줄 요약

이 논문은 전통적인 녹내변 이미지와 초광역도(ultra-wide-field, UWF) 녹내변 이미지 간의 도메인 갭을 해소하기 위한 새로운 적대적 도메인 적응 프레임워크를 제안한다. 이를 통해 풍부한 전통적 녹내변 데이터로부터 부족한 UWF 데이터로 지식 전이를 가능하게 한다. 사이클-일致성 있는 생성적 적대적 네트워크, 가짜 레이블링, 일관성 정규화, MixUp 증강을 조합함으로써, UWF 망막 질환 분류 성능이 크게 향상되었으며, UWF 데이터로만 훈련한 경우보다 8.28% 높은 66.71%의 F1 스코어를 기록하였다.

ABSTRACT

For decades, advances in retinal imaging technology have enabled effective diagnosis and management of retinal disease using fundus cameras. Recently, ultra-wide-field (UWF) fundus imaging by Optos camera is gradually put into use because of its broader insights on fundus for some lesions that are not typically seen in traditional fundus images. Research on traditional fundus images is an active topic but studies on UWF fundus images are few. One of the most important reasons is that UWF fundus images are hard to obtain. In this paper, for the first time, we explore domain adaptation from the traditional fundus to UWF fundus images. We propose a flexible framework to bridge the domain gap between two domains and co-train a UWF fundus diagnosis model by pseudo-labelling and adversarial learning. We design a regularisation technique to regulate the domain adaptation. Also, we apply MixUp to overcome the over-fitting issue from incorrect generated pseudo-labels. Our experimental results on either single or both domains demonstrate that the proposed method can well adapt and transfer the knowledge from traditional fundus images to UWF fundus images and improve the performance of retinal disease recognition.

연구 동기 및 목표

• 망막 질환 진단을 위한 딥러닝 모델 훈련에 있어 초광역도(UWF) 녹내변 이미지의 부족한 가용성 문제를 해결한다.
• 풍부하고 잘 레이블링된 전통적 녹내변 이미지와 부족하고 노이즈가 많으며 임상적으로 현실적인 UWF 녹내변 이미지 간의 도메인 갭을 해소하여 효과적인 지식 전이를 가능하게 한다.
• 적대적 학습과 가짜 레이블링을 활용해 소스(전통적) 도메인과 타겟(UWF) 도메인을 동시에 활용하는 공동 훈련 프레임워크를 개발하여 일반화 성능을 향상시킨다.
• 가능성이 높은 잘못된 가짜 레이블로 인한 과적합 및 확인 편향을 줄이기 위해 MixUp 증강과 일관성 정규화를 활용한다.
• 실제 임상 환경의 UWF 데이터에 대해 전통적 녹내변 이미지에서 UWF 이미지로의 도메인 적응이 분류 성능을 상당히 향상시킬 수 있음을 입증한다.

제안 방법

• 전통적 녹내변 이미지를 UWF 유사 이미지로 변환하기 위해 사이클-일치성 생성적 적대적 네트워크(CycleGAN)를 활용하여 도메인 이동을 감소시킨다.
• 사전 훈련된 소스 도메인 분류기를 사용해 변환된 UWF 유사 이미지에 대해 가짜 레이블링을 적용하여 합성 레이블을 생성한다.
• 실제 UWF 이미지와 변환된 UWF 이미지에 대해 모델이 유사한 예측을 내도록 하는 일관성 정규화 항을 도입하여 정확도를 향상시킨다.
• 공동 훈련 중 MixUp 증강을 사용하여 잘못된 가짜 레이블로 인한 과적합과 확인 편향을 줄인다.
• 실제 UWF 이미지와 가짜 레이블이 부여된 변환된 이미지를 함께 사용해 분류 모델을 공동 훈련하며, 도메인 간 특징 분포를 일치시키기 위해 적대적 훈련을 적용한다.
• 분류 손실, 적대적 손실, 일관성 정규화, MixUp 손실를 포함하는 복합 손실 함수를 사용해 프레임워크를 종합적으로 최적화한다.

실험 결과

연구 질문

• RQ1 적대적 도메인 적응이 전통적 녹내변 이미지와 UWF 녹내변 이미지 간의 도메인 갭을 효과적으로 해소할 수 있는가?
• RQ2 제한된 UWF 데이터로 훈련할 때, 가짜 레이블링과 일관성 정규화의 조합이 모델의 일반화 성능을 어떻게 향상시키는가?
• RQ3 MixUp 증강이 도메인 적응 과정에서 노이즈가 있거나 잘못된 가짜 레이블로 인한 과적합을 어느 정도 완화하는가?
• RQ4 UWF 데이터로만 훈련하는 것과 비교해 전통적 녹내변 이미지에서의 지식 전이가 실제 임상적 UWF 녹내변 이미지에서의 분류 성능을 향상시키는가?
• RQ5 생성된 가짜 레이블이 부여된 이미지의 수가 모델 성능에 어떤 영향을 미치며, 성능을 최대화하는 최적의 수가 존재하는가?

주요 결과

• 제안된 방법은 UWF 녹내변 이미지 분류에서 66.71%의 F1 스코어를 기록하였으며, 실질적인 UWF 데이터로만 훈련한 경우(55.47% F1 스코어)보다 8.28% 높은 성능을 보였다.
• 모든 지표에서 피넷팅, 지식 정복, 가짜 레이블링, MixUp 기반 모델보다 우수했으며, 500개의 가짜 레이블이 부여된 이미지를 사용할 경우 정확도가 81.37%로 가장 높고 F1 스코어는 66.71%를 기록하였다.
• 일관성 정규화가 실재 UWF 이미지와 변환된 UWF 이미지 간의 예측을 일치시켜 도메인 갭 영향을 줄이고 모델의 강건성을 높였다.
• 최적의 점(예: 500개)을 초과해 가짜 레이블이 부여된 이미지의 수를 늘일 경우 성능 저하가 발생했으며, 이는 품질이 수량보다 더 중요하다는 것을 시사한다.
• MixUp 증강은 잘못된 가짜 레이블로 인한 과적합과 확인 편향을 효과적으로 줄여 일반화 성능을 향상시키며, 가짜 레이블링만 사용한 경우(60.92%)에 비해 F1 스코어가 61.48%로 높아졌다.
• 제거 분석 결과 고품질의 가짜 레이블이 부여된 이미지가 매우 중요하다는 점이 확인되었으며, 과도한 저품질 이미지의 유입은 모델 성능을 떨어뜨리므로 정규화와 데이터 품질 제어의 중요성을 강조한다.