[논문 리뷰] Flood-Filling Networks

Michał Januszewski, Jeremy Maitin-Shepard외 4명|arXiv (Cornell University)|2016. 11. 01.

Advanced Electron Microscopy Techniques and Applications참고 문헌 18인용 수 38

한 줄 요약

Flood-Filling Networks (FFNs)는 원시 3D 이미지에서 시드 박 voxel에서 시작해 반복적으로 객체 마스크를 확장함으로써 직접적으로 객체를 세분화하는 엔드 투 엔드로 학습 가능한 순환 3D 컨볼루션 네트워크를 도입한다. 이로 인해 병합 오류가 전혀 없는 상태의 정확도를 달성하며, CNN 기반 경계 검출, 워터셰드 세분화 및 융합 방법을 조합한 다단계 파이프라인을 능가하는 연결망 재구성에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

State-of-the-art image segmentation algorithms generally consist of at least two successive and distinct computations: a boundary detection process that uses local image information to classify image locations as boundaries between objects, followed by a pixel grouping step such as watershed or connected components that clusters pixels into segments. Prior work has varied the complexity and approach employed in these two steps, including the incorporation of multi-layer neural networks to perform boundary prediction, and the use of global optimizations during pixel clustering. We propose a unified and end-to-end trainable machine learning approach, flood-filling networks, in which a recurrent 3d convolutional network directly produces individual segments from a raw image. The proposed approach robustly segments images with an unknown and variable number of objects as well as highly variable object sizes. We demonstrate the approach on a challenging 3d image segmentation task, connectomic reconstruction from volume electron microscopy data, on which flood-filling neural networks substantially improve accuracy over other state-of-the-art methods. The proposed approach can replace complex multi-step segmentation pipelines with a single neural network that is learned end-to-end.

연구 동기 및 목표

• 기존 파이프라인에서 경계 검출과 세분화 사이의 괴리를 제거하기 위해 둘을 하나의 엔드 투 엔드로 학습 가능한 네트워크로 통합하는 것.
• 전자현미경에서의 신경세포 과정과 같이 매우 큰 객체를 3D 부피 데이터에서 아키텍처의 크기 제한 없이 세분화할 수 있도록 하는 것.
• 다단계 세분화 파이프라인에서 흔히 발생하는 병합 오류를 최소화함으로써 연결망 재구성에서 인간의 실수를 줄이는 것.
• 복잡한 다성분 워크플로우를 하나의 통합 신경망 아키텍처로 대체하는 것.

제안 방법

• FFN은 국소적인 시야( FoV)를 처리하고 시드 박 voxel에서 시작해 반복적으로 객체 마스크 확률 맵을 확장하는 순환 3D 컨볼루션 네트워크를 사용한다.
• 입력에 전용 '객체 마스크 채널'이 존재하여 반복 과정 동안 세분화 상태를 명시적으로 기억할 수 있도록 하며, 이로 인해 네트워크는 객체 경계를 확장하거나 보완할 수 있다.
• 네트워크는 겹치는 FoV들에 대해 반복적으로 적용되며, 가상의 세분화 캔버스의 현재 상태가 업데이트되어 다음 추론 단계의 입력으로 피드백된다.
• 네트워크는 누적된 오류를 반영하는 기울기를 포함하는 손실 함수를 사용하여 엔드 투 엔드로 학습되며, 부족한 세분화와 과도한 세분화 모두에 대해 페널티를 가한다.
• 경향적인 FoV 이동 전략은 현재 마스크 예측에서 최대 확률 방향을 기반으로 네트워크의 수신 영역을 볼륨 전체에 걸쳐 이동시킨다.
• 네트워크는 마스크가 여러 겹치는 추론 단계를 거쳐 성장할 수 있도록 하여 임의의 크기의 객체를 지원하며, 시간이 지남에 따라 자신의 오류를 보정하도록 학습한다.

실험 결과

연구 질문

• RQ1 3D 이미지 분석에서 다단계 세분화 파이프라인을 대체할 수 있는 단일 엔드 투 엔드로 학습 가능한 신경망이 가능한가?
• RQ2 명시적인 경계 검출 없이도 깊은 네트워크가 겹치는 시야 영역을 통해 반복적으로 객체 마스크를 성장시킬 수 있는가?
• RQ3 마스크 상태 메모리가 있는 순환 3D 컨볼루션은 병합 오류가 최소한인 연결망 세분화에서 최신 기술 수준의 방법을 능가할 수 있는가?
• RQ4 백프로파게이션된 기울기를 통해 반복적인 마스크 확장 과정에서 네트워크가 오류를 얼마나 잘 보정할 수 있는가?
• RQ5 복잡한 신경망 환경에서 매우 다양한 크기와 형태를 가진 객체로 일반화할 수 있는가?

주요 결과

• FFNs는 3D CNN 기반 경계 검출, 워터셰드 세분화 및 기계학습 기반 융합 방법(GALA 또는 CELIS)을 조합한 최신 기술 수준의 다단계 파이프라인보다 유의미하게 높은 세분화 정확도를 달성한다.
• FFN은 연결망 데이터셋에서 병합 비율이 0퍼센트를 기록하여 서로 다른 뉴런이 잘못 병합되는 일이 없음을 나타내며, 기존 방법에 비해 큰 장점이다.
• 복잡한 수작업 기반 워크플로우를 단일 통합 아키텍처로 대체한 FFN은 비록 복잡도가 높지만, 다단계 파이프라인을 능가하는 성능을 보였다.
• FFNs의 계산 비용은 기준 파이프라인(0.14 PFLOP)보다 높으며(4.6 PFLOP), 주로 네트워크의 깊이와 겹치는 FoV들에 대한 반복 추론 때문이지만, 이는 성능 향상의 대가로 간주된다.
• 정성적 분석 결과, 초구조적 특징(예: 미토콘드리아)을 통합하거나 거리 변환 기반으로 복소체를 재가중하는 것 등이 세분화 품질 향상에 기여할 수 있다.
• 향후 연구에서는 계산 비용을 줄이고 히우리스틱적인 FoV 이동 전략을 학습된 정책으로 대체하여 엔드 투 엔드 최적화와 적응형 처리를 가능하게 하고자 한다.