[논문 리뷰] Fluorescence Microscopy Image Segmentation Using Convolutional Neural Network With Generative Adversarial Networks.

Chichen Fu, Soonam Lee외 5명|arXiv (Cornell University)|2018. 01. 22.

AI in cancer detection참고 문헌 23인용 수 3

한 줄 요약

이 논문은 합성 데이터를 생성하는 생성적 적대 기반 네트워크(GAN)를 활용해 훈련된 3D 컨volution 신경망(CNN)을 사용한 3D 세포핵 분할 방법을 제안한다. 이는 표본화된 형광 현미경 영상 데이터가 부족한 문제를 해결하며, 광범위한 데이터셋에서 정확한 분할을 달성하면서도 수작업으로 레이블을 붙이는 데 소요되는 시간을 최소화한다.

ABSTRACT

Recent advance in fluorescence microscopy enables acquisition of 3D image volumes with better quality and deeper penetration into tissue. Segmentation is a required step to characterize and analyze biological structures in the images. 3D segmentation using deep learning has achieved promising results in microscopy images. One issue is that deep learning techniques require a large set of groundtruth data which is impractical to annotate manually for microscopy volumes. This paper describes a 3D nuclei segmentation method using 3D convolutional neural networks. A set of synthetic volumes and the corresponding groundtruth volumes are generated automatically using a generative adversarial network. Segmentation results demonstrate that our proposed method is capable of segmenting nuclei successfully in 3D for various data sets.

연구 동기 및 목표

• 딥 러닝 모델 훈련을 위한 표본화된 3D 형광 현미경 영상 데이터 부족 문제를 해결하기 위해.
• 3D 세포핵 분할의 정확한 레이블을 수작업으로 붙이는 데 소요되는 시간을 줄이기 위해.
• 생성적 적대 기반 네트워크(GAN)를 활용해 실제 형광 현미경 데이터의 외관과 구조적 복잡성을 모방하는 현실적인 3D 영상 데이터와 그에 해당하는 참값 분할 마스크를 생성하기 위해.
• 다양한 생물학적 데이터셋에서 3D CNN의 성능을 평가하기 위해, 합성 데이터로 훈련된 3D CNN의 세포핵 분할 성능을 평가하기 위해.

제안 방법

• 3D 컨volution 신경망(CNN)은 3D 형광 현미경 영상에서 세포핵 분할을 수행하도록 훈련된다.
• 생성적 적대 기반 네트워크(GAN)는 자동으로 합성된 3D 현미경 영상과 그에 해당하는 참값 분할 마스크를 생성하기 위해 사용된다.
• GAN은 실제 형광 현미경 데이터의 외관과 구조적 복잡성을 모방하는 현실적인 3D 영상 볼륨을 생성하도록 훈련된다.
• 합성 데이터는 3D CNN의 사전 훈련 또는 미세조정에 사용되어 실제 레이블이 붙은 데이터에 대한 의존도를 낮춘다.
• 훈련 과정에서는 생성된 영상의 현실성 향상과 분할 일관성을 향상시키기 위해 적대적 손실를 활용한다.
• 다양한 실제 3D 현미경 데이터셋을 대상으로 방법의 일반화 능력과 분할 정확도를 평가하기 위해 평가가 수행된다.

실험 결과

연구 질문

• RQ1 GAN가 생성한 합성 데이터셋은 형광 현미경에서의 3D 세포핵 분할을 위한 3D CNN 훈련에 효과적으로 기여하는가?
• RQ2 합성 데이터로 훈련된 3D CNN의 성능은 실제 레이블이 붙은 데이터로 훈련된 모델과 비교해 어떻게 되는가?
• RQ3 합성 데이터는 다양한 생물 샘플과 이미징 조건에 대해 얼마나 잘 일반화되는가?
• RQ4 GAN가 생성한 데이터의 사용은 수작업 레이블링의 필요성을 줄이면서도 분할 정확도를 유지하는가?

주요 결과

• 제안된 방법은 학습 데이터의 수작업 레이블링이 필요 없이 다양한 데이터셋에서 3D 형광 현미경 영상에서 세포핵을 성공적으로 분할한다.
• GAN가 생성한 합성 데이터의 사용은 3D CNN의 효과적인 훈련을 가능하게 하여 높은 분할 정확도를 달성한다.
• 모델는 다양한 생물 샘플에 대해 잘 일반화되어 있으며, 이미징 조건의 변화에 대해 뛰어난 내성과 안정성을 보인다.
• 이 방법은 3D 현미경 분석에서 주요한 장애물이 되는 대규모 수작업 레이블링에 대한 의존도를 크게 줄였다.