[논문 리뷰] An Error Detection and Correction Framework for Connectomics

Jonathan Zung, Ignacio Tartavull외 2명|arXiv (Cornell University)|2017. 08. 08.

Cell Image Analysis Techniques참고 문헌 25인용 수 12

한 줄 요약

이 논문은 전자현미경에서 신경세포 분할 및 융합 오류를 탐지하고 수정하는 양단계적 딥러닝 프레임워크를 제안한다. 3D 다중 척도 컨볼루션 네트워크를 사용하여 오류를 마스크 기반 오류 지ap으로 탐지한 후, 탐지기의 '권고'에 따라 개체 마스크를 잘라내는 방식으로 오류를 수정함으로써, 기준 분할보다 높은 정확도를 확보하면서도 계산 비용을 감소시켰다.

ABSTRACT

We define and study error detection and correction tasks that are useful for 3D reconstruction of neurons from electron microscopic imagery, and for image segmentation more generally. Both tasks take as input the raw image and a binary mask representing a candidate object. For the error detection task, the desired output is a map of split and merge errors in the object. For the error correction task, the desired output is the true object. We call this object mask pruning, because the candidate object mask is assumed to be a superset of the true object. We train multiscale 3D convolutional networks to perform both tasks. We find that the error-detecting net can achieve high accuracy. The accuracy of the error-correcting net is enhanced if its input object mask is "advice" (union of erroneous objects) from the error-detecting net.

연구 동기 및 목표

• 고정밀도이지만 여전히 오류가 발생하는 자동 분할로 인해 증가하는 수동 검토 문제를 해결하기 위해.
• 3D 신경세포 재구성에서 분할 및 융합 오류를 동시에 탐지할 수 있는 확장 가능한 자동화된 방법을 개발하기 위해.
• 진짜 개체의 슈퍼셋인 후보 마스크를 기반으로 오류 수정을 개체 마스크 잘라내기 문제로 재정의함으로써 분할 정확도를 향상시키기 위해.
• 오류 탐지기가 오류가 의심되는 영역을 식별함으로써, 고비용 수정 작업을 이 영역으로 제한함으로써 계산 비용을 감소시키기 위해.
• 오류 탐지기의 '권고'가 오류 수정 네트워크 성능을 향상시킨다는 것을 입증하기 위해.

제안 방법

• 오류 탐지 작업은 3D 다중 척도 컨볼루션 네트워크를 사용하여 분할 및 융합 오류를 나타내는 3D 오류 지도를 생성하며, 입력은 원본 EM 이미지와 후보 개체 마스크로 구성된다.
• 오류 수정 작업은 3D 다중 척도 네트워크를 사용하여 잘라낸 마스크를 생성하도록 훈련되며, 입력 마스크는 진짜 개체의 슈퍼셋이므로 잘못된 볼록체를 제거하는 데 효과적이다.
• 오류 수정 네트워크는 기준 분할 마스크가 아니라 오류 탐지기가 식별한 모든 오류 영역의 합집합인 '권고'를 입력으로 받을 경우 성능이 향상된다.
• 반복적 정밀화를 사용한다: 전체 볼륨에 대해 오류 탐지가 적용되며, 오류 수정은 오류 확률이 높은 영역에만 적용되어 계산 부담을 줄인다.
• 신호를 조작하여 생성한 합성 오류를 포함한 데이터 증강 기법을 사용해 지도 학습 방식으로 네트워크를 훈련시켰다.
• 시스템은 2048×2048×256 EM 볼륨에서 평가되었으며, 성능은 분할 정확도를 평가하는 Variation of Information (VI) 점수와 기준 대비 오류 수 변화로 측정되었다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 분할 및 융합 오류를 고정밀도로 동시에 탐지할 수 있는가?
• RQ2 오류 영역의 합집합인 '권고'를 제공함으로써 오류 수정 네트워크의 성능이 향상되는가?
• RQ3 오류 탐지 모듈이 오류 수정을 오류가 발생할 가능성이 높은 영역으로 제한함으로써 계산 비용을 줄일 수 있는가?
• RQ4 오류 감소 및 계산 효율성 측면에서 기준 분할 대비 이 프레임워크는 어떻게 비교되는가?
• RQ5 오류 탐지 모듈은 인간의 수동 검토를 안내하거나 종단 간 분할에 대한 약한 지도 신호로 활용될 수 있는가?

주요 결과

• 오류 탐지 네트워크는 원본 이미지에 접근하지 못한 상태에서도 분할 및 융합 오류를 고정밀도로 식별했으며, 강력한 형태 사전 지식을 보여주었다.
• 오류 탐지기의 '권고'를 사용했을 경우 기준 분할 대비 707개의 오류를 수정했고, 기준 마스크를 직접 사용했을 경우 547개의 오류 수정에 그쳤다.
• '권고'를 사용했을 경우 도입된 오류 수는 68개로 줄었고, 그렇지 않은 경우 77개였으며, 이는 더 높은 내구성을 의미한다.
• 오류 탐지기가 식별한 영역로만 오류 수정을 제한했을 경우, 계산 비용이 10배 감소했으며, 이는 비용 절감 전략의 타당성을 입증했다.
• 거의 800개의 940개 객체에서 거의 완벽한 분할을 달성했으며, 나머지 오류의 대부분은 dendrite의 빠진 스파인이었다.
• 계산 파이프라인은 경계 탐지에 18분, 오류 탐지에 25분, 오류 수정에 55분이 소요되었으며, 이는 단일 TitanX Pascal GPU에서 수행된 결과이다.