[논문 리뷰] GAN based Unsupervised Segmentation: Should We Match the Exact Number of Objects

Quan Liu, Isabella Gaeta외 3명|arXiv (Cornell University)|2020. 10. 22.

Cell Image Analysis Techniques참고 문헌 20인용 수 4

한 줄 요약

이 논문은 형광 현미경을 사용한 고도로 겹치는 세포소기관 미세결함을 위한 새로운 GAN 기반 비지도 분할 방법을 제안한다. 미세 수준의 매칭을 통해 미니배치당 객체 수를 정렬하지만, 매크로 수준의 매칭—특히 가우시안 스무딩과 노이즈 증강을 통한 것—이 더 뛰어난 분할 성능을 보이며, 정성적·정량적 결과 모두에서 미세 수준의 매칭을 뛰어넘는다 (Dice 점수: 0.6169 대 0.5730).

ABSTRACT

The unsupervised segmentation is an increasingly popular topic in biomedical image analysis. The basic idea is to approach the supervised segmentation task as an unsupervised synthesis problem, where the intensity images can be transferred to the annotation domain using cycle-consistent adversarial learning. The previous studies have shown that the macro-level (global distribution level) matching on the number of the objects (e.g., cells, tissues, protrusions etc.) between two domains resulted in better segmentation performance. However, no prior studies have exploited whether the unsupervised segmentation performance would be further improved when matching the exact number of objects at micro-level (mini-batch level). In this paper, we propose a deep learning based unsupervised segmentation method for segmenting highly overlapped and dynamic sub-cellular microvilli. With this challenging task, both micro-level and macro-level matching strategies were evaluated. To match the number of objects at the micro-level, the novel fluorescence-based micro-level matching approach was presented. From the experimental results, the micro-level matching did not improve the segmentation performance, compared with the simpler macro-level matching.

연구 동기 및 목표

• 형광 현미경에서 세포소기관 미세결함에 대해 처음으로 딥러닝 기반 비지도 분할 방법을 개발하는 것.
• 표준 매크로 수준(전체 분포) 매칭 대비 미세 수준(미니배치 수준) 객체 수 매칭이 분할 성능을 향상시키는지 조사하는 것.
• 모의 마스크 생성을 위한 비지도 학습에서 데이터 증강 전략—스무딩, 노이즈, 밝기—의 영향을 평가하는 것.
• 형광 영상의 다중 채널 특성을 활용해 추가 인간 레이블 없이도 객체 수를 자동으로 세는 것을 가능하게 하는 것.

제안 방법

• 실제 강도 영상과 모의 이진 마스크 간의 사이클 일관성 있는 영상 합성을 위해 CycleGAN을 사용한다.
• 각 미니배치 내에서 미세 수준 매칭을 위해 실제 영상의 초록 형광 채널을 사용해 미세결함 수를 자동으로 세는 데 활용한다.
• 전용 시뮬레이터를 통해 각 미니배치당 일치하는 객체 수를 가진 모의 마스크를 생성하여, 미세 수준의 쌍을 형성한다.
• 일반화 성능 향상을 위해 모의 마스크에 대해 데이터 증강(가우시안 스무딩, 랜덤 노이즈, 밝기 변동)을 적용한다.
• 인간 레이블 데이터 없이 오직 CycleGAN에 의해 생성된 데이터만을 사용해 U-Net 분할 네트워크를 훈련시킨다.
• 다양한 진짜 마스크 폭(w=1에서 w=5)에서 DICE 유사도 계수를 사용해 분할 성능을 평가하며, 최종 예측은 128×128 패치에서 재구성한다.

실험 결과

연구 질문

• RQ1 미니배치당 객체 수를 미세 수준으로 매칭하는 것이 매크로 수준 매칭보다 비지도 분할 성능을 향상시키는가?
• RQ2 형광 현미경의 다중 채널 특성은 추가 레이블 없이도 미세 수준의 쌍을 형성하기 위한 정확한 자동 객체 수 계산을 가능하게 하는가?
• RQ3 다양한 데이터 증강 전략(스무딩, 노이즈, 밝기)은 모의 마스크 품질과 후속 분할 성능에 어떤 영향을 미치는가?
• RQ4 일반화 성능을 고려할 때, 매크로 수준 매칭이 미세 수준 매칭보다 더 견고한가?
• RQ5 비지도 미세결함 분할에 있어 증강 전략과 매칭 전략의 최적 조합은 무엇인가?

주요 결과

• 가우시안 스무딩과 랜덤 노이즈 증강을 적용한 매크로 수준 매칭이 폭 w=5에서 최고의 DICE 점수 0.6169를 기록하여 모든 미세 수준 설정을 앞서 간다.
• 미세 수준 매칭은 분할 성능 향상에 기여하지 않았으며, 최고의 미세 수준 결과(0.5730 DICE)도 최고의 매크로 수준 결과보다 낮았다.
• 매크로 수준 쌍 데이터로 훈련된 U-Net은 미세 수준 쌍 데이터로 훈련된 모델보다 더 나은 신규 테스트 데이터 일반화 성능를 보였다.
• 미세 수준 쌍 형성은 더 정교한 정렬을 통해 훈련 세트 정확도는 높였지만, 이는 일반화 성능 향상으로 이어지지 않았다.
• 비지도 세포소기관 분할에서 표준 매크로 수준 매칭 전략은 미세 수준 매칭보다 더 견고하고 효과적이다.
• 모의 마스크에 대해 가우시안 스무딩과 랜덤 노이즈를 조합 적용함으로써, 모든 평가 폭에서 분할 성능 향상이著격하게 향상되었다.