[논문 리뷰] Recursive Training of 2D-3D Convolutional Networks for Neuronal Boundary Detection

Kisuk Lee, Aleksandar Zlateski외 2명|arXiv (Cornell University)|2015. 08. 20.

Cell Image Analysis Techniques참고 문헌 37인용 수 31

한 줄 요약

이 논문은 고도로 이방성인 순차 단면 전자현미경(EM) 영상에서 신경세포 경계 검출을 향상하기 위해 재귀적이고 하이브리드 2D-3D 컨볼루션 네트워크(VD2D3D)를 제안한다. 더 깊은 2D 특징 추출과 3D 문맥 모델링을 결합하고, 초도 경계 지도를 사용해 예측을 재귀적으로 개선함으로써, 기존 2D 전용 모델을 능가하는 최신 기술 수준의 정확도를 달성하며, ZNN를 통해 효율적인 CPU 기반 3D 컨볼루션을 활용한다.

ABSTRACT

Efforts to automate the reconstruction of neural circuits from 3D electron microscopic (EM) brain images are critical for the field of connectomics. An important computation for reconstruction is the detection of neuronal boundaries. Images acquired by serial section EM, a leading 3D EM technique, are highly anisotropic, with inferior quality along the third dimension. For such images, the 2D max-pooling convolutional network has set the standard for performance at boundary detection. Here we achieve a substantial gain in accuracy through three innovations. Following the trend towards deeper networks for object recognition, we use a much deeper network than previously employed for boundary detection. Second, we incorporate 3D as well as 2D filters, to enable computations that use 3D context. Finally, we adopt a recursively trained architecture in which a first network generates a preliminary boundary map that is provided as input along with the original image to a second network that generates a final boundary map. Backpropagation training is accelerated by ZNN, a new implementation of 3D convolutional networks that uses multicore CPU parallelism for speed. Our hybrid 2D-3D architecture could be more generally applicable to other types of anisotropic 3D images, including video, and our recursive framework for any image labeling problem.

연구 동기 및 목표

• 열거된 단면 전자현미경(EM) 영상에서 낮은 z해상도와 정렬 오차로 인해 악화되는 신경세포 경계 검출을 향상시키기 위해.
• 순수 2D 컨볼루션 네트워크(ConvNets)의 한계를 보완하기 위해 하이브리드 2D 및 3D 필터를 통해 3D 문맥 정보를 통합하기 위해.
• 초기 경계 검출 네트워크의 출력에 기반해 두 번째 네트워크를 재귀적으로 훈련시켜 특징 표현과 신호 대 잡음 비율을 향상시키기 위해.
• ZNN 프레임워크를 통해 다중 코어 CPU 병렬 처리를 활용해 대규모 3D EM 볼륨에서 깊이 있는 3D 컨볼루션 네트워크의 효율적 훈련을 가능하게 하기 위해.

제안 방법

• 더 깊은 2D-컨볼루션 넷(VD2D)을 먼저 훈련시어, ReLU 활성화 함수, 작은 필터, 풀링 연산 사이에 다수의 컨볼루션 계층을 사용해 초도 경계 지도를 생성한다.
• 두 번째 네트워크(VD2D3D)는 원본 이미지와 초도 경계 지도를 입력으로 사용하며, 2D 및 3D 컨볼루션 필터를 조합해 이방성 EM 자료에서 3D 공간적 문맥을 효과적으로 활용한다.
• 재귀적 훈련 프레임워크는 VD2D의 출력을 VD2D3D의 조절 입력으로 사용하여, 엔드 투 엔드 백프로파게이션을 통해 경계 예측을 반복적으로 개선한다.
• 훈련은 ZNN를 사용해 가속화되며, ZNN는 대규모 출력 패치 기반 훈련과 밀집된 특징 맵 계산을 지원하는 CPU 최적화된 3D 컨볼루션 넷 라이브러리로, 효율적인 3D 학습을 가능하게 한다.
• 이 아키텍처는 계층적 특징 학습을 활용하며, VD2D3D의 고차원 표현이 문맥적 단서의 재귀적 통합을 통해 경계 관련 신호를 증폭하고 잡음을 억제한다.
• 소프트맥스 출력 레이어를 x, y, z 친화도를 위한 세 개의 독립적 유닛으로 교체함으로써, 3D 친화도 그래프를 생성할 수 있다.

실험 결과

연구 질문

• RQ1 표준 2D 전용 모델에 비해, 더 깊은 2D-3D 하이브리드 컨볼루션 넷 아키텍처가 이방성 3D EM 영상에서 경계 검출 정확도를 향상시킬 수 있는가?
• RQ2 초기 경계 지도를 두 번째 네트워크에 피드백하는 재귀적 훈련 방식이, 경계 검출에서 더 나은 특징 표현과 향상된 신호 대 잡음 비율을 이끌어낼 수 있는가?
• RQ3 낮은 z해상도에도 불구하고, 주로 2D 아키텍처에 3D 필터를 통합함으로써 순차 단면 EM 자료에서 3D 문맥을 효과적으로 모델링할 수 있는가?
• RQ4 ZNN는 대규모 3D EM 데이터셋에서 깊이 있는 3D 컨볼루션 넷을 훈련시키기 위해 GPU 기반 프레임워크에 비해 실용적이고 효율적인 대안이 될 수 있는가?
• RQ5 재귀적 개선 방식이 원소형 시각 처리에서 관찰되는 상향식 주의 메커니즘을 어느 정도 모방하는가?

주요 결과

• VD2D3D 모델은 ISBI’12 2D EM 세그멘테이션 벤치마크에서 기존 최신 기술 수준 모델(N4)보다 뚜렷이 뛰어난 성능을 보이며, 신경세포 경계 검출 분야에서 최신 기술 수준의 성능을 달성했다.
• 재귀적 훈련 전략은 특징 맵에서 경계 신호가 증폭되고 배경 잡음이 억제되는 것으로 시각화되어, 경계 표현의 신호 대 잡음 비율을 향상시켰다.
• 후행 계층에 3D 필터를 통합한 하이브리드 2D-3D 아키텍처는 이방성 해상도에도 불구하고 3D 문맥을 효과적으로 포착해 복잡한 경계 영역에서의 모호함을 해소하는 데 기여했다.
• ZNN는 CPU 기반으로 깊이 있는 3D 컨볼루션 넷의 효율적 훈련을 가능하게 하여, 밀집된 특징 맵 계산과 패치 기반 훈련을 통해 대규모 3D EM 볼륨 처리가 가능하게 하였다.
• 재귀적 프레임워크는 상향식 피드백이 하위 수준 특징 맵을 조절함으로써 계층적 특징 학습을 가능하게 하여 검출 정확도를 향상시켰다.
• 이 방법은 일반화 가능하다: 재귀적 훈련 철학과 하이브리드 2D-3D 필터 설계는 영상 처리 및 3D 이미지 레이블링을 포함한 다른 이방성 3D 이미지 작업에 적용 가능하다.