[논문 리뷰] Superhuman Accuracy on the SNEMI3D Connectomics Challenge

Kisuk Lee, Jonathan Zung외 3명|arXiv (Cornell University)|2017. 05. 31.

Wireless Body Area Networks참고 문헌 22인용 수 222

한 줄 요약

저자들은 잔차 대칭 3D U-Net을 사용하여 long-range affinity prediction과 새로운 데이터 증강을 도입해 SNEMI3D 인간 정확도를 넘어서는 EM 뇌 이미지 분할을 달성하고, 평균 친화성 응집(mean affinity agglomeration)을 빠른 후처리 단계로 활용한다.

ABSTRACT

For the past decade, convolutional networks have been used for 3D reconstruction of neurons from electron microscopic (EM) brain images. Recent years have seen great improvements in accuracy, as evidenced by submissions to the SNEMI3D benchmark challenge. Here we report the first submission to surpass the estimate of human accuracy provided by the SNEMI3D leaderboard. A variant of 3D U-Net is trained on a primary task of predicting affinities between nearest neighbor voxels, and an auxiliary task of predicting long-range affinities. The training data is augmented by simulated image defects. The nearest neighbor affinities are used to create an oversegmentation, and then supervoxels are greedily agglomerated based on mean affinity. The resulting SNEMI3D score exceeds the estimate of human accuracy by a large margin. While one should be cautious about extrapolating from the SNEMI3D benchmark to real-world accuracy of large-scale neural circuit reconstruction, our result inspires optimism that the goal of full automation may be realizable in the future.

연구 동기 및 목표

• EM 이미지에서 SNEMI3D 벤치마크에서 인간 성능을 넘어 자동 뉴런 분할을 개선한다.
• 현실 세계의 이미징 결함을 시뮬레이션하는 학습 증강을 개발하여 강건성을 향상한다.
• 보조 작업(long-range affinities)을 탐구하여 최근접 이웃 친화성 예측을 향상시킨다.
• 무거운 테스트 타임 증강 없이 분할 정확도를 높이기 위해 후처리(mean affinity agglomeration)를 사용한다.

제안 방법

• 같은 합성곱과 스킵 연결을 사용하는 잔차 대칭 U-Net 변형을 제안하여 3D EM 분할에 적용한다.
• 최근접 이웃 복셀 간의 친화성으로 학습하고 보조 목표로 직교 축을 따라 긴 거리의 복셀 친화성을 예측한다.
• 정합 불일치, 누락된 섹션, 초점이 흐린 섹션으로 시뮬레이션된 이미지 결함으로 학습 데이터를 증강한다.
• 경계 효과를 완화하기 위해 overlap-blend 추론을 적용하고, 필요에 따라 테스트 시간 증강(회전/대칭)을 사용하며, mean affinity agglomeration을 후처리로 사용한다.
• 입력 패치 크기 1x160x160x18, 클래스 재비율 조정이 있는 이항 크로스 엔트로피, 그리고 학습을 위한 Adam 옵티마이저 사용; 최종 분할은 에지 가중치 워터셋(edge-weighted watershed)으로 수행한 뒤 mean affinity agglomeration으로 후속 처리한다.

실험 결과

연구 질문

• RQ1 확장된 3D 컨텍스트와 증강된 학습 데이터로 구성된 3D 합성곱 신경망이 SNEMI3D에서 인간 정확도를 초과할 수 있는가?
• RQ2 보조 긴 거리 친화성 예측이 이웃 친화성 예측의 주된 작업을 향상시키는가?
• RQ3 학습 시점의 증강과 후처리 기술이 분할 성능 및 이미징 결함에 대한 강건성에 어떤 영향을 미치는가?
• RQ4 평균 친화성 응집(mean affinity agglomeration)이 무거운 테스트 시간 증강에 비해 실무적으로 경쟁력 있는 더 빠른 대안인가?

주요 결과

그룹 이름	Rand error	Trainable parameters	Test-time augmentation	비고
저자(테스트타임 증강)	0.02576	1.5M	16 variants	Top SNEMI3D 성능(리더보드)
저자(테스트타임 증강)	0.02590	1.5M	8 variants	강력한 성능을 유지하는 축소 버전
저자(mean affinity aggl.)	0.03332	1.5M	1 variant	Mean affinity agglomeration 후처리
사람 값	0.05998	–	–	리더보드에서의 추정 인간 정확도
DIVE	0.06015	18M × 3 models	16 variants × 3 models	이전 선두 항목
IAL	0.06561	35M	20 variants	이전 선두 항목

• 최고 제출은 테스트 시간 증강을 포함한 Rand 오차 0.02576을 달성하여 보고된 인간 정확도 0.05998을 능가한다.
• 테스트 시간 증강(8 변형)을 가진 두 번째 버전은 0.02590 Rand 오차를 달성한다.
• Mean affinity agglomeration만으로는 테스트 시간 증강 없이도 0.03332 Rand 오차에 도달한다.
• SNEMI3D에서 인간 값은 0.05998 Rand 오차이며, 경쟁 방법인 DIVE와 IAL은 각각 0.06015, 0.06561이다.
• 긴 거리 친화성과 포괄적 데이터 증강으로 학습하면 베이스라인에 비해 모델 성능이 크게 향상된다.
• 테스트 시간 증강은 큰 이득을 주지만(추정상 8-16배 추론 비용), mean affinity agglomeration은 낮은 추론 오버헤드로 강력한 이득을 제공한다.