[논문 리뷰] Domain Adaptation-based Augmentation for Weakly Supervised Nuclei Detection

Nicolas Brieu, Armin Meier외 5명|arXiv (Cornell University)|2019. 07. 10.

AI in cancer detection참고 문헌 17인용 수 13

한 줄 요약

이 논문은 주로 표본이 없는 이미지 간 번역(CycleGAN)을 사용하여 원천 도메인(예: 면역형광)에서 목표 도메인(예: H&E)으로의 영역 적응 기반 보완 기법을 제안한다. 이는 목표 도메인의 레이블이 없이도 검출 네트워크를 훈련시킬 수 있도록 합성된 레이블이 부여된 이미지를 생성한다. 제안된 방법은 검증되지 않은 H&E 데이터셋에서 f1 점수 0.85를 기록하며, 완전한 지도 학습 방법과 유사한 성능을 보이며, 레이블 부족 상황에서 최신 기술 수준의 성능을 입증한다.

ABSTRACT

The detection of nuclei is one of the most fundamental components of computational pathology. Current state-of-the-art methods are based on deep learning, with the prerequisite that extensive labeled datasets are available. The increasing number of patient cohorts to be analyzed, the diversity of tissue stains and indications, as well as the cost of dataset labeling motivates the development of novel methods to reduce labeling effort across domains. We introduce in this work a weakly supervised 'inter-domain' approach that (i) performs stain normalization and unpaired image-to-image translation to transform labeled images on a source domain to synthetic labeled images on an unlabeled target domain and (ii) uses the resulting synthetic labeled images to train a detection network on the target domain. Extensive experiments show the superiority of the proposed approach against the state-of-the-art 'intra-domain' detection based on fully-supervised learning.

연구 동기 및 목표

• 다양한 조직 염색 및 환자 코hort에서 레이블이 부족하고 비용이 많이 드는 조직병리학 데이터셋 문제를 해결한다.
• 다른 원천 도메인의 레이블만을 사용하여 목표 도메인에서 세포핵 검출을 가능하게 하여 디지털 병리학에서의 레이블링 노력 감소를 도모한다.
• 표준 이중 단계 도메인 적응의 한계를 극복하기 위해 원천 이미지당 다수의 다양한 합성 이미지를 생성하여 검출 성능의 강건성을 향상시킨다.
• 목표 도메인 레이블이 필요 없이, 쌍이 맞지 않는 비지도 도메인 번역을 활용해 지식을 염색 모달리티 간 전이하는 약한 지도 학습 방법을 개발한다.

제안 방법

• 도메인 번역 이전에 원천 도메인과 목표 도메인 이미지 간의 내부 염색 정규화(예: DCGMM)를 적용하여 이미지 정렬을 수행한다.
• 쌍이 맞지 않는 일대일 이미지 간 번역을 위해 CycleGAN을 사용하여 원천 도메인의 레이블이 부여된 이미지에서 실감나는 목표 도메인 이미지를 합성한다.
• 원천 이미지당 다수의 합성 이미지를 생성하여 다양성을 높이고 일반화 능력을 향상시키기 위해 보완된 훈련 세트를 구성한다.
• 오직 원천 도메인 레이블만을 사용하여 세포핵 검출 네트워크(예: CNN)를 합성 레이블이 부여된 이미지의 앙상블에 대해 훈련시킨다.
• 소량의 실제 목표 도메인 레이블과 합성된 원천 도메인 이미지를 조합하는 교차 도메인 감독 전략을 도입하여 성능을 추가로 향상시킨다.
• 시각적 품질과 검출 정확도를 기준으로 여러 반복에서 최고의 성능을 보인 CycleGAN 모델을 선택하여, 열악한 단일 모델 미세조정을 방지한다.

실험 결과

연구 질문

• RQ1 쌍이 맞지 않는 도메인 적응 기반으로 CycleGAN을 활용해, 레이블이 부여된 원천 도메인에서 레이블이 없는 목표 도메인으로 세포핵 검출 지식을 효과적으로 전이할 수 있는가?
• RQ2 원천 이미지당 다수의 다양한 합성 이미지를 생성하는 것이 단일 합성 이미지 사용 대비 검출 성능 향상에 기여하는가?
• RQ3 목표 도메인 레이블이 부족한 상황에서, 약한 지도 학습 기반의 이종 도메인 검출 성능이 완전한 지도 학습 기반의 내부 도메인 검출 성능과 비교해 어떻게 되는가?
• RQ4 합성 원천 이미지와 제한된 실제 목표 도메인 이미지를 조합한 교차 도메인 감독 전략이 순수한 이종 도메인 및 내부 도메인 접근 방식을 모두 능가하는가?
• RQ5 합성 데이터의 앙상블을 통한 성능 향상 효과가 다양한 조직병리학 데이터셋과 염색 유형 간에 일관되게 유지되는가?

주요 결과

• 제안된 이종 도메인 방법은 목표 도메인의 실제 레이블이 없이도, HE 원천 도메인에서 유래한 합성 레이블만을 사용하여 검증되지 않은 NSCLC IF 데이터셋에서 f1 점수 0.85를 기록하였으며, 실제 IF 레이블을 사용한 완전한 지도 학습의 성능과 동일한 결과를 보였다.
• 더 도전적인 IF2HE 방향에서, 이 방법은 MoNuSeg 및 TNBC HE 테스트 데이터셋에서 각각 f1 점수 0.85와 0.81를 기록하였으며, 이는 완전한 지도 학습 방법의 결과(f1 = 0.86 및 0.84)와 유사한 성능을 보였다.
• 목표 도메인 레이블이 제한적일 경우(N_HE ≤ 18K), 약한 이종 도메인 감독이 완전한 내부 도메인 감독을 능가하는 성능을 보였으며, 이는 레이블 부족 상황에서의 가치를 입증한다.
• 제한된 목표 도메인 레이블이 존재할 경우, 합성 원천 이미지와 실제 목표 도메인 이미지를 조합한 교차 도메인 감독 전략이 순수한 이종 도메인 및 내부 도메인 접근 방식을 모두 능가했으며, 더 많은 데이터를 사용할 경우 내부 도메인 성능과 동등한 성능을 달성했다.
• 단일 최고 성능의 CycleGAN 모델만을 사용하여 합성 이미지를 생성할 경우 검출 정확도가 크게 떨어졌으며, 이는 합성 데이터의 다양성과 앙상블 전략의 중요성을 강조한다.
• 모든 데이터셋에서 성능 향상 효과가 통계적으로 검증되었으며, 가감된 t-검정을 통해 제안된 방법의 성능 향상 효과가 유의미하고 일관되게 유지됨을 확인했다.