[논문 리뷰] Isotropic reconstruction of 3D fluorescence microscopy images using convolutional neural networks

Martin Weigert, Löıc A. Royer외 2명|arXiv (Cornell University)|2017. 04. 05.

Cell Image Analysis Techniques참고 문헌 12인용 수 6

한 줄 요약

이 논문은 동일한 데이터에서 엔드 투 엔드 훈련을 통해 이방향성, 단일 뷰 촬영으로부터 등방성 3D 형광 현미경 해상도를 복원하는 딥러닝 방법인 IsoNet-2를 제안한다. 자기지도 초해상도 및 탈모폴로지 기반으로 샘플에 특화된 이미지 사전을 학습함으로써, 네트워크는 전체 등방성 데이터 수준과 유사한 축 방향 해상도를 복원하며, 정보 손실을 최소화하면서 정확한 후속 분할 분석을 가능하게 한다.

ABSTRACT

Fluorescence microscopy images usually show severe anisotropy in axial versus lateral resolution. This hampers downstream processing, i.e. the automatic extraction of quantitative biological data. While deconvolution methods and other techniques to address this problem exist, they are either time consuming to apply or limited in their ability to remove anisotropy. We propose a method to recover isotropic resolution from readily acquired anisotropic data. We achieve this using a convolutional neural network that is trained end-to-end from the same anisotropic body of data we later apply the network to. The network effectively learns to restore the full isotropic resolution by restoring the image under a trained, sample specific image prior. We apply our method to $3$ synthetic and $3$ real datasets and show that our results improve on results from deconvolution and state-of-the-art super-resolution techniques. Finally, we demonstrate that a standard 3D segmentation pipeline performs on the output of our network with comparable accuracy as on the full isotropic data.

연구 동기 및 목표

• 광학 PSF의 이방성과 축 방향 과도한 샘플링으로 인한 축 해상도 저하 문제를 해결하기 위해.
• 추가적인 지도 데이터나 복잡한 다중 뷰 이미징 설정이 필요 없이 등방성 해상도를 복원하는 방법을 개발하기 위해.
• 재구성된 데이터에서 진짜 등방성 데이터와 거의 동일한 정확도로 3D 분할 분석을 수행할 수 있도록 하기 위해.
• 데이터 수집 부담을 줄이기 위해 축 방향 샘플링을 크게 감소시켜 광독성과 파일 크기를 비례적으로 감소시키기 위해.

제안 방법

• 이 방법은 후속 처리에 사용할 동일한 이방향 데이터셋에서 엔드 투 엔드로 훈련된 U-Net 유사 컨볼루션 신경망(IsoNet-2)을 사용한다.
• 횡방향 대 축 방향 해상도 이방성 특성을 활용하여 문제를 자기지도 초해상도 및 탈모폴로지 작업으로 설정한다.
• 회전 또는 분할된 PSF 모델을 사용하여, 저해상도로 축소되고 흐릿해진 축 방향 슬라이스(pxy)를 고해상도 횡방향 슬라이스(gxy)로 매핑하는 데 네트워크를 학습한다.
• 예측된 횡방향 패치와 원본 패치 간 픽셀 단위 PSNR 손실 최소화를 통해 훈련을 수행한다.
• 훈련 과정에서 네트워크는 샘플에 특화된 이미지 사전을 학습하며, 이를 통해 축 방향으로 블러를 제거하고 등방성 해상도를 복원한다.
• 지도 데이터가 필요 없으며, 대신 데이터 내재적 이방성을 감독 신호로 활용한다.

실험 결과

연구 질문

• RQ1 컨볼루션 신경망이 지도 데이터 없이 단일 이방향 현미경 볼륨에서 등방성 3D 해상도를 복원할 수 있는가?
• RQ2 이러한 네트워크는 전통적 탈모폴로지 및 최신 초해상도 기법과 비교해 얼마나 잘 성능을 내는가?
• RQ3 재구성된 등방성 데이터가 후속 분석을 위해 생물학적 구조의 정밀도를 얼마나 잘 유지하는가?
• RQ4 표준 3D 분할 파이프라인은 재구성된 데이터에서 진짜 등방성 데이터와 거의 동일한 성능을 내는가?
• RQ5 축 방향 샘플링을 줄여 데이터 수집을 얼마나 줄일 수 있으며, 사용 가능한 해상도를 유지할 수 있는가?

주요 결과

• 합성 핵 데이터에서 IsoNet-2는 분할 F1-스코어(SEQ 지표)로 0.9128을 기록했으며, 이는 이방향 입력에서의 0.7415와 진짜 지도 데이터에서의 0.9234와 비교할 수 있다.
• 간조직 데이터에서는 8배 축 샘플링(매 8번째 슬라이스)으로도 등방성 해상도를 성공적으로 복원했으며, 전체 등방성 볼륨과 시각적으로 거의 동일한 품질을 확보했다.
• 모든 테스트 데이터셋에서 리처드슨-루크리 탈모폴로지 및 최신 초해상도 기법보다 정량적 및 시각적 품질 면에서 뛰어난 성능을 보였다.
• 두꺼운 파리(Drosophila) 및 C. elegans 데이터셋의 재구성 축 슬라이스는 원본 XY 슬라이스와 유사한 시각적 선명도와 등방성 특성을 보였으며, 다양한 생물 샘플에 대한 일반화 능력을 입증했다.
• 표준 3D 분할 파이프라인을 IsoNet-2 출력에 적용한 결과, 전체 등방성 데이터에서의 성능과 거의 구분되지 않는 분할 정확도를 확보했으며, 후속 분석에의 유용성을 확인했다.
• 이 방법은 최대 8배(12.5%의 데이터) 축 샘플링 감소를 허용하면서도 해상도와 분할 정확도를 유지할 수 있어, 광독성과 저장 요구량을 비례적으로 감소시킬 수 있다.