[논문 리뷰] Combining Fully Convolutional and Recurrent Neural Networks for 3D Biomedical Image Segmentation

Jianxu Chen, Lin Yang외 3명|arXiv (Cornell University)|2016. 09. 05.

Cell Image Analysis Techniques참고 문헌 19인용 수 220

한 줄 요약

두 가지 구성요소 프레임워크를 도입한다. 이는 슬라이스 내 특징 추출을 위한 k-U-Net FCN과 슬라이스 간 3D 맥락을 캡처하기 위한 Bi-Directional Convolutional LSTM (BDC-LSTM)을 결합하여, 이방성 데이터에서 특히 3D 생의학 영상 분할을 향상시킨다.

ABSTRACT

Segmentation of 3D images is a fundamental problem in biomedical image analysis. Deep learning (DL) approaches have achieved state-of-the-art segmentation perfor- mance. To exploit the 3D contexts using neural networks, known DL segmentation methods, including 3D convolution, 2D convolution on planes orthogonal to 2D image slices, and LSTM in multiple directions, all suffer incompatibility with the highly anisotropic dimensions in common 3D biomedical images. In this paper, we propose a new DL framework for 3D image segmentation, based on a com- bination of a fully convolutional network (FCN) and a recurrent neural network (RNN), which are responsible for exploiting the intra-slice and inter-slice contexts, respectively. To our best knowledge, this is the first DL framework for 3D image segmentation that explicitly leverages 3D image anisotropism. Evaluating using a dataset from the ISBI Neuronal Structure Segmentation Challenge and in-house image stacks for 3D fungus segmentation, our approach achieves promising results comparing to the known DL-based 3D segmentation approaches.

연구 동기 및 목표

• 매우 이방성 생의학 영상에서 3D 맥락을 활용하는 도전 과제를 해결한다.
• intra-slice 특징 추출을 inter-slice 맥 context 모델링과 분리하는 프레임워크를 제안한다.
• 2D 다중 스케일 FCN과 쌓은 BDC-LSTM을 활용하여 3D 맥 context를 포착하고 3D 분할을 향상시킨다.

제안 방법

• 두 구성요소 아키텍처를 제시한다: intra-slice 특징 추출을 위한 k U-Net(Multi-scale 2D FCN)과 inter-slice 3D 맥락 통합을 위한 BDC-LSTM(Bi-Directional Convolutional LSTM).
• k U-Net 도입: 점진적으로 거친 이미지 스케일에서 작동하는 모듈형 U-Net들의 시퀀스로, 거친 스케일에서 미세 스케일로의 정보 전파를 수행한다.
• BDC-LSTM 도입: z 방향으로 반대 방향으로 작동하는 두 개의 CLSTM 계층으로, 맥락을 연결하여 3D 특징을 형성하고, 계층적 맥락 특징을 구축하기 위해 최대 풀링 및 디컨볼루션의 깊은 스택을 통합할 수 있다.
• k U-Net과 BDC-LSTM을 결합하여 먼저 슬라이스당 2D 특징 맵을 추출한 다음, 이 맵 시퀀스를 BDC-LSTM에 입력해 3D 분할 확률 맵을 생성한다.
• 훈련 전략으로 엔드-투-엔드 또는 디커플링된 학습, 데이터 증강, 드롭아웃 및 경계선이나 관심 영역을 강조하기 위한 가중치 교차 엔트로피 손실을 사용한다.

실험 결과

연구 질문

• RQ1 다중 스케일 2D FCN(k U-Net)과 슬라이스 간 RNN(BDC-LSTM)의 조합이 기존 3D CNN 또는 RNN 접근법보다 비정상적으로 이방성인 3D 맥-context를 더 잘 활용하는가?
• RQ2 슬라이스 내 특징 추출을 슬라이스 간 맥락 모델링으로 분리하는 것이 이방성 3D 생의학 데이터셋에서 분할 정확도를 개선하는가?
• RQ3 제안된 아키텍처가 Pyramid-LSTM 및 다양한 z 해상도 데이터세트에서 다른 3D 분할 방법들과 어떻게 비교되는가?

주요 결과

• 제안된 FCN+RNN 프레임워크가 두 개의 서로 다른 데이터셋에서 최첨단 3D 딥러닝 방법과 비교하여 경쟁력 있거나 우수한 분할 지표를 달성한다.
• k U-Net 단독은 다중 스케일 내부 정보를 활용하여 표준 U-Net보다 향상된 성능을 보인다.
• FCN+깊은 RNN을 결합한 경우가 테스트된 구성 중 최상의 결과를 도출한다.
• ISBI 뉴런 데이터셋에서 FCN+깊은 RNN 구성은 가장 높은 V_rand(0.9753)와 V_info(0.9870)를 달성하고 Pixel Error(0.0215)가 가장 낮다.
• 사내 3D 곰팡이 데이터셋에서도 FCN+깊은 RNN이 기본선 대비 우수하며 V_rand 0.9753, V_info 0.9870, Pixel Error 0.0215(보고된 방법 중 최상)이다.
• 동일 프레임워크로 재구현할 때 Pyramid-LSTM에 비해 GPU 메모리 면에서 효율적임을 보여준다.