[논문 리뷰] Unsupervised Instance Segmentation in Microscopy Images via Panoptic Domain Adaptation and Task Re-weighting

Dongnan Liu, Donghao Zhang외 6명|arXiv (Cornell University)|2020. 05. 05.

AI in cancer detection참고 문헌 49인용 수 4

한 줄 요약

이 논문은 형광 현미경을 소스 도메인으로 사용하여 조직병리학 영상에서 세포핵 인스턴스 세분화를 위한 새로운 비지도 도메인 적응 프레임워크인 CyC-PDAM을 제안한다. 핵 인painting, 의미 분량 도메인 적응, 동적 작업 재가중 기법을 통합함으로써, 타겟 도메인의 애너테이션을 요구하지 않으면서도 벤치마크 데이터셋에서 완전 지도 학습 방법과 동등한 성능을 달성한다.

ABSTRACT

Unsupervised domain adaptation (UDA) for nuclei instance segmentation is important for digital pathology, as it alleviates the burden of labor-intensive annotation and domain shift across datasets. In this work, we propose a Cycle Consistency Panoptic Domain Adaptive Mask R-CNN (CyC-PDAM) architecture for unsupervised nuclei segmentation in histopathology images, by learning from fluorescence microscopy images. More specifically, we first propose a nuclei inpainting mechanism to remove the auxiliary generated objects in the synthesized images. Secondly, a semantic branch with a domain discriminator is designed to achieve panoptic-level domain adaptation. Thirdly, in order to avoid the influence of the source-biased features, we propose a task re-weighting mechanism to dynamically add trade-off weights for the task-specific loss functions. Experimental results on three datasets indicate that our proposed method outperforms state-of-the-art UDA methods significantly, and demonstrates a similar performance as fully supervised methods.

연구 동기 및 목표

• 타겟 도메인 애너테이션 없이도 높은 애너테이션 비용과 도메인 간 이질성 문제를 해결하여 조직병리학 영상 분석에서 비지도 인스턴스 세분화를 가능하게 한다.
• 의미 수준과 인스턴스 수준에서 동시에 특징을 적응시킴으로써 세포핵 인스턴스 세분화의 도메인 편향을 줄인다.
• 학습 중 소스 도메인 편향을 줄이기 위해 작업별 손실 함수의 가중치를 동적으로 재조정함으로써 소스 도메인 편향을 완화한다.
• 새로운 인painting 메커니즘을 통해 보조적인 세포핵을 제거함으로써 합성된 타겟 도메인 이미지의 현실성 향상.
• 전경과 배경 간의 공간적 관계를 유지하는 패노픽 수준의 도메인 적응을 실현한다.

제안 방법

• 합성된 조직병리학 영상에서 부적절한 세포핵 아티팩트를 제거하기 위해 핵 인painting 메커니즘을 제안하여 세분화 정확도 향상.
• 패ano픽 수준에서 도메인 불변 특징을 학습하기 위해 의미 분량 도메인 식별자와 함께 의미 분량 브랜치를 도입하여 전경-배경 관계를 포괄.
• Mask R-CNN에 대해 CyCADA 프레임워크를 적응시켜 외관, 이미지, 인스턴스 수준에서 사이클 일관성 있는 도메인 적응을 가능하게 함.
• 특징의 도메인 불변성에 기반해 손실 가중치를 동적으로 조정하는 작업 재가중 메커니즘을 활용하여 학습 중 소스 편향 감소.
• 인스턴스 수준 탐지와 의미 수준 세분화 헤드를 결합한 다중 브랜치 아키텍처를 도입하여 동시 최적화.
• 사이클 일관성 번역을 활용해 소스 형광 현미경 데이터로부터 타겟 유사 이미지를 생성함.

실험 결과

연구 질문

• RQ1 형광 현미경 영상와 조직병리학 영상 간 도메인 갭을 비지도 도메인 적응으로 효과적으로 줄일 수 있는가?
• RQ2 의미 수준과 인스턴스 수준의 도메인 이질성을 동시에 해결하는 패노픽 수준의 도메인 적응은 세분화 성능에 어떻게 기여하는가?
• RQ3 동적 작업 재가중 기법이 모델 최적화 중 소스 도메인 편향을 어느 정도 감소시키는가?
• RQ4 타겟 도메인 애너테이션이 없는 방법이 완전 지도 학습 모델과 동등한 성능을 달성할 수 있는가?
• RQ5 개별 구성 요소(인painting, 의미 분량 브랜치, 작업 재가중)가 전체 성능 향상에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 CyC-PDAM 방법은 세 개의 공개 데이터셋에서 최신 기술(SOTA)의 비지도 도메인 적응 방법을 모두 능가하며 뚜렷한 성능 향상을 보였다.
• Kumar 데이터셋에서 CyC-PDAM은 픽셀 수준의 F1 스코어 0.887을 기록하여 완전 지도 학습 Panoptic FPN 모델과 동등한 성능을 달성했다.
• 테스트 세트에서 평균 AJI는 0.728을 기록했으며, Panoptic FPN보다 略적으로 낮지만 완전 지도 학습 CNN3 및 DIST보다 뚜렷하게 뛰어난 성능을 보였다.
• 제거 실험 결과, 세 핵심 구성 요소(인painting, 의미 분량 브랜치, 작업 재가중) 중 어느 하나라도 제거할 경우 모든 지표에서 4–6% 성능 저하가 발생했으며, p-값 < 0.05로 통계적으로 유의미함을 확인했다.
• Kumar 데이터셋에서의 새로운 장기 기관에 대한 일반화 능력이 뛰어나, 강력한 도메인 불변 특징 학습을 보여주었다.
• 시각화 결과, 작업 재가중 메커니즘이 기준 모델 대비 소스 편향 예측(불규칙한 크기의 세포핵, 잡음 양성 결과 등)을 줄임을 확인했다.