[논문 리뷰] MarmoNet: a pipeline for automated projection mapping of the common marmoset brain from whole-brain serial two-photon tomography

Henrik Skibbe, Akiya Watakabe외 11명|arXiv (Cornell University)|2019. 08. 02.

Cell Image Analysis Techniques참고 문헌 12인용 수 14

한 줄 요약

MarmoNet는 공통 마모넷의 전체 뇌 시리얼 이중광자 톰그래피 데이터에서 축삭 추적 신호의 세분화 및 투영 매핑을 자동화하기 위해 U-Net 기반의 합성곱 신경망과 이미지 정렬을 사용하는 딥러닝 파이프라인이다. 이는 복잡하고 노이즈가 많은 뇌 조직에서 희박하고 농축된 축삭 투영을 고정밀도로 완전 자동으로 탐지할 수 있게 하여 영장류 뇌 연구에서 연결성 맵핑의 효율성과 재현 가능성을 크게 향상시킨다.

ABSTRACT

Understanding the connectivity in the brain is an important prerequisite for understanding how the brain processes information. In the Brain/MINDS project, a connectivity study on marmoset brains uses two-photon microscopy fluorescence images of axonal projections to collect the neuron connectivity from defined brain regions at the mesoscopic scale. The processing of the images requires the detection and segmentation of the axonal tracer signal. The objective is to detect as much tracer signal as possible while not misclassifying other background structures as the signal. This can be challenging because of imaging noise, a cluttered image background, distortions or varying image contrast cause problems. We are developing MarmoNet, a pipeline that processes and analyzes tracer image data of the common marmoset brain. The pipeline incorporates state-of-the-art machine learning techniques based on artificial convolutional neural networks (CNN) and image registration techniques to extract and map all relevant information in a robust manner. The pipeline processes new images in a fully automated way. This report introduces the current state of the tracer signal analysis part of the pipeline.

연구 동기 및 목표

• 고해상도이자 노이즈가 많은 마모넷 뇌의 이중광자 현미경 영상에서 축삭 추적 신호의 수동 세분화 문제를 해결하기 위해.
• 다양한 대trast, 강도, 구조적 복잡성에서 뇌 조직을 관통해 축삭 투영을 견고하게 탐지할 수 있는 완전 자동 파이프라인 개발을 위해.
• Brain/MINDS 사업을 위한 마모넷 뇌에서 대규모 신경 연결성 맵핑의 확장성과 재현 가능성을 향상시키기 위해.
• 항전도 추적 실험에서 발생하는 거대한 양의 시리얼 이중광자 톰그래피 데이터 처리에 소요되는 인간 오류와 시간 소모를 줄이기 위해.

제안 방법

• 파이프라인은 이중광자 형광 영상에서 축삭 추적 신호의 엔드 투 엔드 세분화를 위해 인코더-디코더 구조를 가진 U-Net 아키텍처를 사용한다.
• 입력 영상들은 572×572×n 픽셀 패치로 처리되며, n=1일 경우 세포체 탐지, n=2일 경우 추적 세분화(레드 및绿色通道)에 해당한다.
• 네트워크는 인코더 경로에서 반복적인 3×3 컨볼루션과 ReLU 활성화 함수, 2×2 최대 풀링을 사용하고, 디코더 경로에서는 전치 컨볼루션(업컨볼루션)과 스킵 커넥션을 적용한다.
• 인코더에서 디코더 레이어로 이어지는 스킵 커넥션은 공간 해상도를 유지하고 세분화된 축삭 구조의 정밀한 국소화 정확도를 향상시킨다.
• 학습 데이터 다양성을 높이고 과적합을 줄이기 위해 기울기, 감마 보정, 비선형 공간 변형, 전역 스케일링 등의 데이터 증강 기법을 적용한다.
• 배치 정규화와 드롭아웃 레이어를 사용하여 학습 안정성과 일반화 능력을 향상시키고, 가중치가 부여된 로지스틱 회귀 손실 함수를 최적화에 활용한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 파이프라인이 다양한 이미징 조건에서 복잡하고 노이즈가 많은 마모넷 뇌 조직에서 축삭 추적 신호의 견고하고 자동 세분화를 달성할 수 있는가?
• RQ2 U-Net 아키텍처 내 스킵 커넥션과 다중 척도 특징 학습의 통합이 기존 히우리스틱 방법에 비해 축삭 투영 맵핑 정밀도를 얼마나 향상시키는가?
• RQ3 한정된 생물의학 영상 데이터와 높은 신호 형태 변동성으로 인해 학습할 경우, 데이터 증강이 모델 일반화 능력을 얼마나 향상시키는가?
• RQ4 슬라이딩 윈도우 추론 전략을 사용하여 대규모 전체 뇌 시리얼 이중광자 톰그래피 영상이 효율적으로 처리될 수 있는가?

주요 결과

• U-Net 기반의 MarmoNet 파이프라인은 흩어진, 기하학적으로 기름진 축삭과 농축된 덩어리 형태의 군집 등 다양한 형태 패턴에서 축삭 추적 신호의 고정밀 세분화를 달성한다.
• 스킵 커넥션과 다중 척도 특징 학습의 활용은 저신호 대 노이즈 비율 영역에서도 축삭 투영의 정밀한 공간 국소화를 가능하게 한다.
• 데이터 증강은 제한된 학습 데이터와 높은 영상 외관 변동성에도 불구하고 모델 일반화 능력을 크게 향상시켜 과적합을 감소시켰다.
• 슬라이딩 윈도우 추론 접근 방식을 통해 파이프라인이 대규모 전체 뇌 영상 스택을 완전 자동으로 처리할 수 있게 되어 대규모 연결성 게놈학의 실현 가능성이 열렸다.
• 기존의 에지 강화나 형태학적 필터링에 의존하는 히우리스틱 방법에 비해 이 방법은 변동하는 대비와 복잡한 배경 구조에서 어려움을 겪지 않고 뛰어난 성능을 보였다.