[논문 리뷰] Single Neuron Segmentation using Graph-based Global Reasoning with Auxiliary Skeleton Loss from 3D Optical Microscope Images

Heng Wang, Yang Song외 5명|arXiv (Cornell University)|2021. 01. 22.

Cell Image Analysis Techniques참고 문헌 21인용 수 4

한 줄 요약

이 논문은 3D 광학 현미경 영상에서 단일 신경세포 분할을 위해 그래프 기반 전역 추론 네트워크와 보조 뼈대 손실을 제안한다. 특징 맵에서 공간적 주의 맵을 학습하여 전역 그래프를 구성하고, 관류 구조 유지에 중점을 둔 복합 손실을 통합함으로써, 3D U-Net 및 MKF-Net 기준보다 분할 정확도를 향상시켜 Janelia 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

One of the critical steps in improving accurate single neuron reconstruction from three-dimensional (3D) optical microscope images is the neuronal structure segmentation. However, they are always hard to segment due to the lack in quality. Despite a series of attempts to apply convolutional neural networks (CNNs) on this task, noise and disconnected gaps are still challenging to alleviate with the neglect of the non-local features of graph-like tubular neural structures. Hence, we present an end-to-end segmentation network by jointly considering the local appearance and the global geometry traits through graph reasoning and a skeleton-based auxiliary loss. The evaluation results on the Janelia dataset from the BigNeuron project demonstrate that our proposed method exceeds the counterpart algorithms in performance.

연구 동기 및 목표

• 단일 뉴런 분할에서 노이즈가 많고 파편화된 3D 뉴런 영상의 과제를 해결하기 위해.
• 3D CNN의 국소 수용장 이론을 초월한 장거리 구조적 의존성 파악을 통해 분할 성능을 향상시키기 위해.
• 새로운 보조 손실을 통해 신경세포 수상 구조의 전역 관류 기하학을 유지하기 위해.
• 다중 스케일 컨볼루션을 반복적으로 적용하는 것보다 계산 비용을 줄이고 전역 특징 학습을 향상시키기 위해.
• BigNeuron의 Janelia 데이터셋에서 개선된 성능을 달성하기 위해 엔드 투 엔드 학습을 실현하기 위해.

제안 방법

• 특징 맵에서 학습 가능한 공간적 주의 맵을 사용하여 노드-보크셀 관계를 정의함으로써 특징 맵에서 그래프를 구성한다.
• 전역 특징 맵 전역에서 장거리 의존성을 집계하기 위해 그래프 컨volution 네트워크(GCN)를 사용하여 전역 추론을 가능하게 한다.
• 스킵 연결을 통해 국소 특징과 전역적으로 집계된 표현을 결합하는 전역 정보 추론(GIR) 블록을 도입한다.
• 보조 분류와 관류 구조 학습을 동시에 이끄는 복합 손실을 제안하며, 교차 엔트로피와 뼈대 기반 손실을 적응적으로 조합한다.
• 경계 예측을 정밀화하고 구조적 연속성을 향상시키기 위해 예측 확률 맵에 고정밀 필터링을 적용한다.
• 3D U-Net을 백본으로 사용하며, 다중 인코더-디코더 레이어에 GIR 블록을 삽입하여 다중 스케일 전역 맥락을 포착한다.

실험 결과

연구 질문

• RQ1 그래프 기반 전역 추론은 관류 구조의 장거리 연결성을 모델링하여 3D 뉴런 분할 성능을 향상시킬 수 있는가?
• RQ2 보조 뼈대 손실은 분할 과정에서 신경세포 수상의 기하학적 구조 유지에 기여하는가?
• RQ3 과도한 파rameter 증가 없이 다중 레이어에 걸쳐 전역 추론을 효율적으로 적용할 수 있는가?
• RQ4 실제 3D 뉴런 영상에서 F1 점수, 정밀도, 재현율 측면에서 제안된 방법이 3D U-Net 및 MKF-Net보다 어떻게 비교되는가?
• RQ5 각 구성 요소(GIR, 복합 손실, 필터링)가 최종 분할 성능에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 방법은 Janelia 데이터셋에서 평균 F1 점수 0.5183 ± 0.1410을 달성하여 3D Res-U-Net(0.5054 ± 0.1377) 및 3D Res-MKF-Net(0.5004 ± 0.1394)을 능가한다.
• 3D Res-U-Net 대비 F1 점수를 2% 이상 향상시키며, GIR 블록만을 사용할 경우 평균 F1 점수가 1.03% 향상된다.
• 적응형 복합 손실은 기존 손실 없이 학습된 모델 대비 F1 점수를 1% 이상 향상시켜 0.5004에서 0.5157로 증가시킨다.
• 시각화 결과 제안된 방법이 더 완전하고 연속적인 신경세포 뼈대를 생성하며, 간극과 노이즈가 적은 것으로 나타났다.
• 제거 실험 결과 GIR 블록과 복합 손실 모두 필수적임을 확인하였으며, GIR 블록 도입으로 기준 대비 성능이 1.05% 향상되었다.
• 3D Res-MKF-Net보다 훨씬 적은 파라미터를 사용하면서도 더 높은 성능을 달성하여 전역 특징 학습의 높은 효율성을 입증한다.