[논문 리뷰] Deep Learning Convolutional Networks for Multiphoton Microscopy Vasculature Segmentation

Petteri Teikari, Marc Ericson C. Santos외 2명|arXiv (Cornell University)|2016. 06. 08.

Cell Image Analysis Techniques참고 문헌 117인용 수 43

한 줄 요약

이 논문은 두광학 현미경 영상에서 혈관을 자동으로 분할하기 위한 하이브리드 2D-3D 컨volution 신경망(ConvNet)을 제안하며, 12개의 정렬된 마우스 및 인간 종양 뇌 부피 영상으로 구성된 무료로 공유되는 데이터셋을 활용한다. 이 방법은 CPU에 최적화된 ZNN 기반 프레임워크를 사용하여 볼륨 데이터에서 뛰어난 성능을 보이며, 전이 학습 및 개방형 협업에 대한 잠재력을 지닌다.

ABSTRACT

Recently there has been an increasing trend to use deep learning frameworks for both 2D consumer images and for 3D medical images. However, there has been little effort to use deep frameworks for volumetric vascular segmentation. We wanted to address this by providing a freely available dataset of 12 annotated two-photon vasculature microscopy stacks. We demonstrated the use of deep learning framework consisting both 2D and 3D convolutional filters (ConvNet). Our hybrid 2D-3D architecture produced promising segmentation result. We derived the architectures from Lee et al. who used the ZNN framework initially designed for electron microscope image segmentation. We hope that by sharing our volumetric vasculature datasets, we will inspire other researchers to experiment with vasculature dataset and improve the used network architectures.

연구 동기 및 목표

• 다중광학 현미경 혈관 분할을 위한 표준화되고 공개 가능한 정렬된 데이터셋의 부족을 해결한다.
• 3D 두광학 현미경 스택에서 혈관을 정확하고 자동으로 분할할 수 있는 딥 러닝 기반 방법을 개발한다.
• 정렬된 데이터와 사전 훈련된 네트워크를 공유하여 전이 학습과 도메인 적응을 가능하게 하여 정렬 부담을 줄인다.
• 코드와 데이터를 공동으로 개방형 소스 프레임워크에 배포하여 재현 가능성과 개방 과학을 촉진한다.
• 신경과학 및 생물의학 연구에서 현재 사용 중인 수동 및 반자동 분할 파이프라인을 향상시킨다.

제안 방법

• 원래 전자현미경을 위해 설계된 ZNN 프레임워크를 기반으로 하이브리드 2D-3D 컨볼루션 신경망 아키텍처를 적응시켰다.
• 국소 텍스처와 볼륨 구조를 모두 포착하기 위해 2D 및 3D 컨volution 필터의 조합을 사용하여 네트워크를 훈련시켰다.
• 새로운 다중광학 혈관 데이터셋에 대해 사전 훈련된 네트워크를 미세조정하여 훈련 비용을 줄였다.
• 분할 이전에 입력 품질을 향상시키기 위해 이미지 노이즈 제거 및 전처리를 적용했다.
• 전문가가 정렬한 스택에서 얻은 픽셀 수준의 참값 정렬을 사용하여 지도 학습 기반의 분할 모델을 훈련시켰다.
• 파이썬 및 ITK 호환 래퍼를 사용하여 재현 가능하고 개방형 소스 형식으로 전체 훈련 코드와 데이터셋을 공유했다.

실험 결과

연구 질문

• RQ1 하이브리드 2D-3D 컨볼루션 신경망 아키텍처는 3D 두광학 현미경 스택에서 혈관을 강력하고 정확하게 분할할 수 있는가?
• RQ2 제한된 다중광학 현미경 데이터에 대해 사전 훈련된 네트워크를 미세조정할 때 전이 학습이 얼마나 효과적인가?
• RQ3 공개된 정렬된 데이터셋은 다중광학 혈관 분할 분야의 연구를 얼마나 가속화할 수 있는가?
• RQ4 ZNN 기반의 CPU 최적화 프레임워크는 이 작업에서 GPU 기반 딥 러닝 프레임워크와 비교해 경쟁력 있는 성능을 낼 수 있는가?
• RQ5 기존의 수동 및 반자동 분할 기법과 비교해 본 논문에서 제안한 방법은 정확도와 재현 가능성 측면에서 어떤가?

주요 결과

• 하이브리드 2D-3D 컨볼루션 신경망은 12개의 정렬된 두광학 현미경 스택에서 유망한 분할 성과를 달성하여 볼륨 데이터에 대한 강력한 일반화 능력을 입증했다.
• 사전 훈련된 네트워크를 사용한 전이 학습을 통해, 대규모 정렬 작업을 처음부터 수행할 필요를 크게 줄였다.
• 저자들은 12개의 정렬된 3D 혈관 스택으로 구성된 무료로 공개된 데이터셋을 제공하여 분야의 주요 장애요소를 해결했다.
• ZNN 기반 구현은 CPU에서 경쟁 가능한 성능을 달성하여 고성능 GPU 하드웨어 없이도 접근 가능하게 했다.
• 오픈소스 코드 및 데이터 공유 모델은 재현 가능성을 촉진하고 향후 다중광학 영상 분석 분야의 협업을 장려했다.
• 이 방법은 혈관 형태학 및 염색 물질 유출과 같은 동적 과정의 더 정확한 정량화를 가능하게 하여 신경혈관 융합 및 혈뇌장벽의 기능성 연구를 지원한다.