[논문 리뷰] Unsupervisedly Training GANs for Segmenting Digital Pathology with Automatically Generated Annotations

Michael Gadermayr, Laxmi Gupta외 3명|arXiv (Cornell University)|2018. 05. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 12인용 수 12

한 줄 요약

이 논문은 실체적 형태의 사전 지식을 활용하여 합성 레이블을 생성하고, 쌍이 없는 데이터에서 이미지 간 번역 모델을 훈련시켜 디지털 병리 슬라이드에서 기저질을 분할하는 완전히 비지도 학습 기반 GAN 방법을 제안한다. 모델은 훈련을 안정화시키고 사이클 일관성을 보장하기 위해 레이블 도메인에 시뮬레이션된 세포핵을 통합함으로써, 수작업 레이블이 두 배 많은 데이터로 훈련된 지도 학습 모델과 경쟁 가능한 성능을 달성한다.

ABSTRACT

Recently, generative adversarial networks exhibited excellent performances in semi-supervised image analysis scenarios. In this paper, we go even further by proposing a fully unsupervised approach for segmentation applications with prior knowledge of the objects' shapes. We propose and investigate different strategies to generate simulated label data and perform image-to-image translation between the image and the label domain using an adversarial model. Specifically, we assess the impact of the annotation model's accuracy as well as the effect of simulating additional low-level image features. For experimental evaluation, we consider the segmentation of the glomeruli, an application scenario from renal pathology. Experiments provide proof of concept and also confirm that the strategy for creating the simulated label data is of particular relevance considering the stability of GAN trainings.

연구 동기 및 목표

• 디지털 병리에서 수작업 레이블이 필요한 훈련 데이터의 높은 비용과 부족함을 해결하기 위해 인간의 수작업 레이블이 전혀 필요 없도록 하는 것.
• 실제 전체 슬라이드 이미지와 자동으로 생성된 레이블 데이터만을 사용하여 완전히 비지도 학습을 가능하게 하는 것.
• 객체 형태의 현실적인 시뮬레이션(원형 대비 타원형)과 추가적인 이미지 특징(예: 세포핵)의 포함 여부가 GAN 훈련의 안정성과 분할 성능에 미치는 영향을 조사하는 것.
• 레이블 도메인에 구조적 사전 지식을 통합함으로써 번역 품질을 향상시키고, 쌍이 없는 데이터에서도 안정적인 사이클 일관성 훈련을 가능하게 하는 것.

제안 방법

• 실제 조직 학습 이미지와 합성 레이블 마스크 간에 쌍이 없는 이미지 간 번역을 수행하기 위해, 두 개의 생성자와 두 개의 판별자를 갖는 사이클 일관성 GAN(CycleGAN) 아키텍처를 사용한다.
• 글로메룰러스를 무작위로 선택된 원형 또는 타원형 형태로 모델링하고, 정규 분포를 따르는 반경과 이완도를 적용하여 공간적으로 타당한 합성 레이블 마스크를 생성한다.
• 레이블 도메인에 시뮬레이션된 세포핵을 통합하여 훈련 안정성을 향상시키며, 생성자가 의미 있는 이미지-마스크 매핑을 학습하는 데 도움이 되는 저수준의 구조적 단서를 제공한다.
• 이중 번역 결과가 원본에 가까워지도록 보장하기 위해 사이클 일관성 손실을 도입함으로써, 쌍이 없는 데이터에서도 훈련이 가능하도록 한다.
• 실제 전체 슬라이드 이미지(한 도메인)와 다른 도메인에서 합성된 이진 마스크를 사용하여 쌍이 없는 데이터셋에서 모델을 훈련시키며, 형태 사전 지식과 추가적인 이미지 특징을 활용한다.
• 글로메룰러스와 세포핵을 모두 레이블 공간에 모델링하는 다중 클래스 설정을 적용하여, 번역 과정에서 세밀한 구조를 유지하는 생성자의 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 완전히 비지도 학습 기반의 GAN 접근법이 수작업 레이블이 전혀 없는 조건에서 경쟁 가능한 기저질 분할 성능을 달성할 수 있는가?
• RQ2 쌍이 없는 번역 설정에서 형태 모델링 방식(원형 대비 타원형)의 선택이 분할 작업의 안정성과 정확성에 어떤 영향을 미치는가?
• RQ3 쌍이 없는 데이터 조건에서 레이블 도메인에 시뮬레이션된 세포핵을 추가하면 훈련 안정성과 분할 품질이 유의미하게 향상되는가?
• RQ4 다양한 수의 레이블이 있는 훈련 데이터에서 비지도 방법의 성능이 지도 기반 기준 모델과 얼마나 비교되는가?

주요 결과

• 단일 클래스 설정(단지 기저질만 시뮬레이션)은 훈련이 불안정하고 성능이 열악했으며, 구조적 맥락이 부족해 혈관을 기저질로 잘못 분류하는 경향이 있었다.
• 레이블 도메인에 시뮬레이션된 세포핵을 포함한 다중 클래스 설정은 안정적인 훈련을 보였고, 고품질의 분할 결과를 도출하여 단일 클래스 접근보다 뚜렷이 뛰어난 성능을 보였다.
• 비지도 방법은 단지 네 장의 레이블이 있는 전체 슬라이드 이미지(약 1000개의 기저질)로 훈련된 지도 학습 모델과 유사한 분할 성능를 달성했으며, 이는 수작업 레이블이 두 배 많은 데이터로 훈련된 모델과도 경쟁 가능함을 시사한다.
• 시뮬레이션된 객체의 형태 분포(원형 대비 타원형)가 최종 성능에 미치는 영향은 미미했으며, 정확한 형태 모델링보다 사이클 일관성 유지가 더 중요함을 시사한다.
• 이 방법은 새로운 염색 프로토콜이나 조직 유형에 대한 재레이블링 없이도, 단지 시뮬레이션 모델의 조정만으로도 쉽게 적응 가능하여 높은 유연성을 보였다.
• 비지도 방법은 낮은 데이터 환경에서도 높은 객체 수준의 F1 스코어를 달성했으며, 일부 지도 기반 기준 모델보다도 레이블 데이터가 제한된 조건에서 뛰어난 성능을 보여, 저자료 환경에서의 효율성을 입증했다.