[논문 리뷰] Unsupervised Domain Adaptation for Anatomical Landmark Detection

Haibo Jin, Haoxuan Che외 1명|arXiv (Cornell University)|2023. 08. 25.

Medical Imaging and AnalysisEngineering인용 수 3

한 줄 요약

이 논문은 해부학적 랜드마크 검출을 위한 새로운 비지도 도메인 적응(UDA) 프레임워크를 제안한다. 이 프레임워크는 랜드마크 인식 자가학습과 도메인 적대적 학습을 결합하여 도메인 간 차이를 줄인다. 신뢰도 높은 가짜 라벨 선택을 위해 동적 임계값을 사용하고, 적대적 학습을 통해 도메인 불변 특징을 학습함으로써, 간성 사진 데이터에서 평균 반경 오차를 3.32mm에서 1.75mm로 감소시키고, 2mm 이내 성공 검출 비율을 50.05%에서 69.15%로 향상시켜 최신 SOTA UDA 방법을 능가한다.

ABSTRACT

Recently, anatomical landmark detection has achieved great progresses on single-domain data, which usually assumes training and test sets are from the same domain. However, such an assumption is not always true in practice, which can cause significant performance drop due to domain shift. To tackle this problem, we propose a novel framework for anatomical landmark detection under the setting of unsupervised domain adaptation (UDA), which aims to transfer the knowledge from labeled source domain to unlabeled target domain. The framework leverages self-training and domain adversarial learning to address the domain gap during adaptation. Specifically, a self-training strategy is proposed to select reliable landmark-level pseudo-labels of target domain data with dynamic thresholds, which makes the adaptation more effective. Furthermore, a domain adversarial learning module is designed to handle the unaligned data distributions of two domains by learning domain-invariant features via adversarial training. Our experiments on cephalometric and lung landmark detection show the effectiveness of the method, which reduces the domain gap by a large margin and outperforms other UDA methods consistently. The code is available at https://github.com/jhb86253817/UDA_Med_Landmark.

연구 동기 및 목표

• 원천 및 대상 의료 영상 도메인 간 도메인 이동으로 인한 해부학적 랜드마크 검출 성능 저하 문제를 해결하기 위해.
• 라벨이 없는 대상 데이터를 가진 의료 랜드마크 검출에서 비지도 도메인 적응(UDA)의 타당성과 효과성을 조사하기 위해.
• 신뢰도 인식 가짜 라벨링과 도메인 불변 표현 학습을 통해 비라벨링된 대상 도메인 데이터를 효과적으로 활용하면서 분포 이동을 완화하는 통합 프레임워크를 개발하기 위해.
• 동적 가짜 라벨 선택과 적대적 도메인 정렬을 결합하여 기존 UDA 방법을 능가하는 교차 도메인 랜드마크 검출 성능을 달성하기 위해.

제안 방법

• 좌표와 히트맵을 동시에 예측할 수 있는 이중 헤드 랜드마크 검출 모델을 설계하여, 신뢰도 점수 추정을 통해 신뢰할 수 있는 가짜 라벨링을 가능하게 한다.
• 랜드마크 수준에서 높은 신뢰도의 가짜 라벨를 선택하기 위해 동적 임계값을 사용하는 랜드마크 인식 자가학습(LAST)을 도입하여 확인 편향을 감소시킨다.
• 원천 및 대상 도메인 간 특징 분포를 적대적 학습을 통해 정렬하기 위해 도메인 적대적 학습(DAL) 모듈을 도입하여 공변이동을 최소화한다.
• Adam 옵timizer를 사용하여 720 에포크 동안 학습률 감소를 적용하면서 기반 검출기, LAST 가짜 라벨링, DAL 손실을 동시에 최적화한다.
• 정규화, 이동, 회전, 가림, 흐림 처리 등의 데이터 증강 기법을 적용하여 모델의 강건성과 일반화 능력을 향상시킨다.
• 감도 조절 하이퍼파라미터 λD = 0.01을 사용하여 검출 손실, 자가학습 손실, 도메인 적대적 손실의 조합을 통해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 비지도 도메인 적응이 도메인 이동로 인한 해부학적 랜드마크 검출 성능 저하를 효과적으로 완화할 수 있는가?
• RQ2 동적 임계값을 사용한 랜드마크 수준의 가짜 라벨링이 이미지 수준 또는 고정 임계값 접근 방식에 비해 적응 성능을 어떻게 향상시키는가?
• RQ3 의료 영상에서 도메인 적대적 학습이 원천 및 대상 도메인 간 데이터 분포의 격차를 어느 정도 감소시킬 수 있는가?
• RQ4 제안된 프레임워크는 해부학적 랜드마크 검출 벤치마크에서 기존 최고 성능의 UDA 방법을 일관되게 능가하는가?

주요 결과

• 제안된 방법은 간성 사진 데이터에서 평균 반경 오차(MRE)를 원천 전용 모델의 3.32mm에서 1.75mm로 감소시켜 도메인 갭을 47% 감소시켰다.
• 2mm 이내 성공 검출 비율은 원천 전용 모델의 50.05%에서 제안된 UDA 프레임워크를 사용할 경우 69.15%로 향상되었다.
• 제거 실험 결과 LAST 및 DAL 모듈이 모두 중요한 기여를 하며, 병합된 방법이 최고의 성능(MRE: 1.75mm, 2mm SDR: 69.15%)을 달성함을 확인했다.
• 모든 평가 지표에서 FDA, UMT, SAC, AT 등의 최신 SOTA UDA 기반 모델보다 일관되게 뛰어난 성능을 보였다.
• 정성적 결과는 제안된 모델이 기준 모델보다 더 정확한 예측을 하며, 특히 도전적인 랜드마크에서 뛰어난 성능을 보임을 확인했다(그림 4의 노란 사각형에 의해 증명됨).
• 기본 검출 헤드를 표준 히트맵 회귀로 교체할 경우 성능이 저하됨을 확인하여, 프레임워크 내에서 신뢰도 인식 출력의 중요성을 입증했다.