[논문 리뷰] Robust neural circuit reconstruction from serial electron microscopy with convolutional recurrent networks

Drew Linsley, Junkyung Kim외 2명|arXiv (Cornell University)|2018. 11. 28.

Advanced Electron Microscopy Techniques and Applications참고 문헌 83인용 수 6

한 줄 요약

이 논문은 연속 전자현미경에서 신경 회로 재구성에 대한 최신 딥러닝 모델의 낮은 일반화 성능을 해결하기 위해 소스 및 조직 무관 재구성(_STAR_) 챌린지를 도입한다. 새로운 피드백 게이팅 순환단위(fGRU) 아키텍처를 제안하며, 이는 짧은 거리의 수평 연결과 긴 거리의 상향식 피드백 연결을 통합하여 STAR 벤치마크에서 91.7% 정밀도와 41.4% 재현율을 기록하며 기존 모델보다 뚜렷이 뛰어난 성능을 달성한다.

ABSTRACT

Recent successes in deep learning have started to impact neuroscience. Of particular significance are claims that current segmentation algorithms achieve "super-human" accuracy in an area known as connectomics. However, as we will show, these algorithms do not effectively generalize beyond the particular source and brain tissues used for training -- severely limiting their usability by the broader neuroscience community. To fill this gap, we describe a novel connectomics challenge for source- and tissue-agnostic reconstruction of neurons (STAR), which favors broad generalization over fitting specific datasets. We first demonstrate that current state-of-the-art approaches to neuron segmentation perform poorly on the challenge. We further describe a novel convolutional recurrent neural network module that combines short-range horizontal connections within a processing stage and long-range top-down connections between stages. The resulting architecture establishes the state of the art on the STAR challenge and represents a significant step towards widely usable and fully-automated connectomics analysis.

연구 동기 및 목표

• 연결체학에서 현재의 딥러닝 모델들이 새로운 뇌 조직이나 이미징 소스에 적용되었을 때 실패하는 한계를 해결하기 위해.
• 새로운 데이터셋에 대한 재학습이나 피지컬 튜닝 없이 다양한 뇌 조직과 이미징 구성에 일반화되는 방법을 개발하기 위해.
• 복잡한 EM 볼륨에서의 분할 향상을 위해 국소적 정보와 장거리 맥락 정보를 모두 활용하는 신경망 아키텍처를 설계하기 위해.
• 모델의 강건성 평가를 위해 여러 종과 이미징 모달리티를 아우르는 일반화 성능을 테스트하는 벤치마크—STAR—를 수립하기 위해.
• 피드백 연결이 순환 네트워크에서 뉴런 재구성 작업의 분할 성능 향상에 기여할 수 있음을 입증하기 위해.

제안 방법

• 층 내 수평 연결과 고층에서 올라오는 상향식 피드백을 결합한 새로운 피드백 게이팅 순환단위(fGRU)를 제안하여 맥락 이해를 향상시킨다.
• 분할을 위한 엔드 투 엔드 학습이 가능하도록 fGRU 모듈을 플러드 필링 네트워크(FFN) 프레임워크에 통합한다.
• 일반화를 촉진하기 위해 CREMI, FIB-25, SNEMI3D를 포함한 다중 소스, 다중 조직 훈련 세트를 사용해 fGRU 기반 모델을 학습시킨다.
• 초기 설정 조정에 영향을 받지 않는 성능 측정을 보장하기 위해, 하이퍼파ram터 튜닝과 무관하게 분할 품질을 평가하기 위해 패치 기반 평가 프로토콜을 사용한다.
• 아키텍처 깊이와 피드백 메커니즘의 기여를 분리하기 위해 깊이와 크기가 감소한 제어 모델(FFN-CNN-Control)을 활용한다.
• 훈련 데이터와 다른 조직 유형과 이미징 파rameter를 가진 Briggman 볼륨의 독립 테스트 세트에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 한 뇌 조직에서 훈련된 딥러닝 모델이 연속 전자현미경에서 새로운, 알려지지 않은 조직으로 일반화될 수 있는가?
• RQ2 순환 네트워크에서 짧은 거리의 수평 연결과 긴 거리의 상향식 연결이 복잡한 EM 영상에서의 분할 성능에 어떤 영향을 미치는가?
• RQ3 게이팅 순환단위에 피드백 연결을 포함시키면 표준 컨볼루션 또는 순환 아키텍처를 초월해 뉴런 재구성에서 일반화 성능이 향상되는가?
• RQ4 아키텍처 깊이와 모델 크기가 연결체학 분할 작업에서 일반화에 얼마나 영향을 미치는가?
• RQ5 일관된 모델 아키텍처가 피지컬 튜닝 없이 다양한 생물체와 이미징 구성에서 높은 성능을 달성할 수 있는가?

주요 결과

• 최신 3D U-Net과 표준 FFN 모델은 STAR 테스트 세트에 대해 일반화에 실패하여, 볼륨 내 검증에서는 뛰어난 성능를 보였지만 새로운 조직에서는 빈약한 성능를 보였다.
• FFN-CNN 모델은 STAR 챌린지에서 정밀도 0.772와 재현율 0.057을 기록하여 일반화 실패가 심각하게 드러났다.
• 크기가 감소한 FFN-CNN-Control 모델도 일반화에 실패했으며, 정밀도 0.821과 재현율 0.063을 기록하여 피드백이 없는 얕은 아키텍처의 한계를 확인했다.
• 제안된 fGRU 기반 모델(FFN-fGRU)은 STAR 챌린지에서 91.7% 정밀도와 41.4% 재현율을 기록하며 모든 기준 모델을 압도적으로 뛰어넘었다.
• fGRU 모델은 테스트 볼륨에서 타당한, 비록 과분할된 예측을 내놓아 분포 이탈에 대한 강건성을 보였다.
• fGRU의 피드백 메커니즘이 필수적이었으며, 독립된 hGRU 층에서 관찰된 병리적 동역학을 억제하고 복잡한 EM 영상에서 맥락의 모호성 해소를 향상시켰다.