[논문 리뷰] AD-GAN: End-to-end Unsupervised Nuclei Segmentation with Aligned Disentangling Training

Kai Yao, Kaizhu Huang외 2명|arXiv (Cornell University)|2021. 07. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 30인용 수 6

한 줄 요약

AD-GAN는 내용(공간적 구조)과 스타일(텍스처/렌더링)을 분리하는 디센터플드 표현 학습을 사용하여 엔드 투 엔드 비지도 핵 세포 분할 프레임워크를 제안한다. 이는 도메인 간 내용 일관성을 유지하는 새로운 정렬된 디센터플링 학습 전략을 통해 구현된다. 이는 네 개의 핵 세포 데이터셋에서 최신 비지도 방법 대비 DICE 스코어 16.1% 향상시키며, 일부 지도 학습 모델조차도 능가한다.

ABSTRACT

We consider unsupervised cell nuclei segmentation in this paper. Exploiting the recently-proposed unpaired image-to-image translation between cell nuclei images and randomly synthetic masks, existing approaches, e.g., CycleGAN, have achieved encouraging results. However, these methods usually take a two-stage pipeline and fail to learn end-to-end in cell nuclei images. More seriously, they could lead to the lossy transformation problem, i.e., the content inconsistency between the original images and the corresponding segmentation output. To address these limitations, we propose a novel end-to-end unsupervised framework called Aligned Disentangling Generative Adversarial Network (AD-GAN). Distinctively, AD-GAN introduces representation disentanglement to separate content representation (the underling spatial structure) from style representation (the rendering of the structure). With this framework, spatial structure can be preserved explicitly, enabling a significant reduction of macro-level lossy transformation. We also propose a novel training algorithm able to align the disentangled content in the latent space to reduce micro-level lossy transformation. Evaluations on real-world 2D and 3D datasets show that AD-GAN substantially outperforms the other comparison methods and the professional software both quantitatively and qualitatively. Specifically, the proposed AD-GAN leads to significant improvement over the current best unsupervised methods by an average 17.8% relatively (w.r.t. the metric DICE) on four cell nuclei datasets. As an unsupervised method, AD-GAN even performs competitive with the best supervised models, taking a further leap towards end-to-end unsupervised nuclei segmentation.

연구 동기 및 목표

• 입력 이미지와 생성된 마스크 간 내용 일관성의 문제를 해결하기 위해, 비지도 핵 세포 분할에서 발생하는 손실적인 변환 문제를 해결한다.
• CycleGAN 기반 방법의 이중 단계 파이프라인에 기인한 제약를 극복하기 위해, 오류가 발생할 수 있는 합성 데이터에 의존하지 않고 엔드 투 엔드 학습을 가능하게 한다.
• 비대응 이미지에서 마스크로의 변환 과정에서 핵 세포의 삭제, 추가, 또는 형태 변화와 같은 매크로 수준 및 마이크로 수준의 내용 왜곡을 줄인다.
• 핵 세포 이미지와 합성 마스크 간에 공통된 잠재 공간을 공유하는 통합 프레임워크를 개발하여 디센터플드 내용 표현을 실현한다.
• 어느 정도의 분할 마스크 레이블도 필요로 하지 않고도 지도 학습 모델과 경쟁 가능한 성능을 달성한다.

제안 방법

• 공간적 구조(내용)와 텍스처(스타일)를 분리하는 내용-스타일 디센터플드 오토인코더 생성기 도입. 각 도메인에 대해 단일 도메인 특화 스타일을 가정한다.
• 핵 세포 이미지와 합성 마스크 간 번역 방향을 제어하기 위해 원핫 도메인 레이블을 사용하는 통합 GAN 프레임워크 설계.
• 잠재 공간 내에서 디센터플드 내용 표현을 명시적으로 정렬하여 마이크로 수준 왜곡을 최소화하는 새로운 정렬된 디센터플링 학습 전략 구현.
• 내용과 스타일 간의 대응 관계를 강제하기 위해 복원 손실($\mathcal{L}_{rec}$), 사이클 일관성 손실($\mathcal{L}_{cyc}$), 내용 복원 손실($\mathcal{L}_{ctr}$)의 조합을 사용한다.
• 에ncoder에 AdaIN(적응형 인스턴스 정규화)를 적용하여 도메인 특화 정보를 주입하고 번역 방향을 안내한다.
• t-SNE 시각화를 통해 제안된 학습 체계 하에서 두 도메인의 디센터플드 내용 표현이 잠재 공간에서 잘 정렬되어 있음을 확인한다.

실험 결과

연구 질문

• RQ1 디센터플드 표현 학습은 비지도 이미지에서 마스크로의 변환 과정에서 매크로 수준의 내용 손실을 줄이는 데 효과적인가?
• RQ2 정렬된 디센터플링 학습 전략은 마스크의 형태나 위치 오프셋과 같은 마이크로 수준의 왜곡을 최소화하는 데 얼마나 효과적인가?
• RQ3 이중 단계 파이프라인에 의존하지 않고 오류가 발생할 수 있는 합성 데이터에 의존하지 않고도 엔드 투 엔드 학습을 가능하게 함으로써 이 프레임워크가 이중 단계 파이프라인의 필요성을 제거하는가?
• RQ4 AD-GAN의 성능은 CycleGAN 및 UDCT와 비교해 합성 마스크 내 핵의 수에 대해 얼마나 민감한가?
• RQ5 완전히 비지도 학습임에도 불구하고 AD-GAN이 지도 학습 모델과 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• AD-GAN는 네 개의 2D 및 3D 핵 세포 데이터셋에서 기존 최고의 비지도 방법 대비 DICE 스코어 16.1% 상승을 기록한다.
• 이 방법은 핵 수와 공간적 구조의 삭제나 추가 없이 핵 세포의 수를 유지하며 매크로 수준의 손실적인 변환을 크게 줄였다.
• 잠재 공간 내 정렬된 디센터플링 학습 전략 덕분에 형태나 위치 오프셋과 같은 마이크로 수준의 왜곡이 상당히 감소했다.
• AD-GAN는 합성 마스크 내 핵의 수 변화에 대해 매우 뛰어난 내성성을 보이며 다양한 설정에서도 안정적인 성능을 기록했다. 반면 CycleGAN 및 UDCT는 10% 이상의 성능 격차를 보였다.
• 정성적 결과에서는 AD-GAN가 형태의 눈에 띄는 차이 없이 위치 오프셋이 없는 분할 마스크를 생성하여 더 현실적이고 정확한 출력을 만들어냈다.
• 모델는 최신 지도 학습 분할 모델과 경쟁 가능한 성능을 보이며, 엔드 투 엔드 비지도 핵 세포 분할로의 중대한 도약을 이룬다.