[논문 리뷰] Combinatorial Energy Learning for Image Segmentation

Jeremy Maitin-Shepard, Viren Jain외 3명|arXiv (Cornell University)|2015. 06. 13.

Cell Image Analysis Techniques참고 문헌 23인용 수 10

한 줄 요약

이 논문은 형태와 영상 특징을 통합하는 신경망 기반 에너지 함수를 사용해 분할 품질을 모델링하는 딥러닝 프레임워크인 이미지 분할를 위한 조합 에너지 학습(CELIS)을 제안한다. 조합적 절단과 점진적 업데이트를 사용해 초음파 응집체에 대해 효율적으로 최적화함으로써, 110억 벽체를 가진 3차원 현미경 데이터셋에서 기존 최고 수준의 기준 대비 부피 분할 정확도를 20퍼센트 이상 향상시킨다.

ABSTRACT

We introduce a new machine learning approach for image segmentation that uses a neural network to model the conditional energy of a segmentation given an image. Our approach, combinatorial energy learning for image segmentation (CELIS) places a particular emphasis on modeling the inherent combinatorial nature of dense image segmentation problems. We propose efficient algorithms for learning deep neural networks to model the energy function, and for local optimization of this energy in the space of supervoxel agglomerations. We extensively evaluate our method on a publicly available 3-D microscopy dataset with 25 billion voxels of ground truth data. On an 11 billion voxel test set, we find that our method improves volumetric reconstruction accuracy by more than 20% as compared to two state-of-the-art baseline methods: graph-based segmentation of the output of a 3-D convolutional neural network trained to predict boundaries, as well as a random forest classifier trained to agglomerate supervoxels that were generated by a 3-D convolutional neural network.

연구 동기 및 목표

• 기존의 이미지 분할 파ip라인들이 조합적 추론과 형태 기반 기준을 충분히 활용하지 못하는 데서 기인하는 한계를 해결하기 위해.
• 형태와 영상 특징을 통합하는 스케일러블하고 미분 가능한 에너지 기반 모델을 개발하여, 조밀한 3차원 분할을 가능하게 하기 위해.
• 점진적이고 절단된 계산을 사용해 초음파 응집체에 대한 효율적인 최적화를 가능하게 하기 위해.
• 실제 신경망 작업 환경을 반영하는 250억 벽체의 정답을 포함한 대규모 3차원 현미경 데이터셋에서 방법을 평가하기 위해.

제안 방법

• 지역 에너지 항목을 계산하기 위해 딥 뉴럴 네트워크를 사용하는 전역적이고 이동 불변 에너지 모델 E(S; I)를 제안한다.
• 응집 과정 중에 분할 상태를 효율적으로 표현하고 업데이트하기 위해 연결성 영역 데이터 구조를 도입한다.
• 초음파 응집체 경계 주변의 3차원 형태 구성의 압축된 표현을 위해 이진 형태 서술자를 사용한다.
• 사전 훈련된 3차원 CNN의 특징과 완전 연결 네트워크의 특징을 결합하는 스플라이스드 신경망 아키텍처를 사용해 분할을 평가한다.
• 분할 내에서의 쌍별 객체 관계를 활용해 에너지 함수를 학습하기 위한 새로운 훈련 절차를 적용한다.
• 정리 2, 3, 4, 6를 통해 계산 절단을 구현하여 형태 서술자의 계산 수를 최대 80퍼센트까지 줄이며, 확장 가능한 응집을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크 기반 에너지 함수가 형태와 영상 특징을 함께 모델링함으로써 3차원 이미지 분할 정확도를 향상시킬 수 있는가?
• RQ2 대규모 3차원 분할에서 초음파 응집체에 대한 조합적 추론을 어떻게 효율적으로 최적화할 수 있는가?
• RQ3 형태 서술자와 절단 기법이 정확도를 손상시키지 않고 계산 비용을 얼마나 줄일 수 있는가?
• RQ4 실제 대규모 신경망 작업 환경을 반영하는 3차원 현미경 데이터셋에서 CELIS는 최고 수준의 기준 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• CELIS는 기존 최고 수준의 기준인 그래프 기반 분할 및 랜덤 포레스트 응집과 비교해 110억 벽체 테스트 세트에서 부피 재구성 정확도를 20퍼센트 이상 향상시켰다.
• 절단 기법의 사용으로 계산된 형태 서술자의 수가 최대 80퍼센트까지 감소하여 런타임을 직접적으로 낮추었으며, 부가 비용은 극히 미미했다.
• 서술자 계산을 배치 처리하고 액션 점수 및 연결 성분에 대해 점진적 업데이트를 사용함으로써 상당한 계산 절감 효과를 달성했다.
• 실제 변화에 기반한 서술자 계산의 하한선과 절단 전략이 매우 밀접하게 일치하여 거의 최적의 효율성을 보였다.
• 학습 데이터셋의 100³ 크기 부분에서의 검증을 통해 제안된 에너지 모델이 다양한 3차원 현미경 데이터에 대해 잘 일반화됨을 입증했다.
• 스플라이스드 신경망 아키텍처를 통해 형태 서술자와 영상 특징을 통합함으로써, 경계 예측이나 픽셀 수준의 분류에 의존하는 방법보다 더 정확한 분할을 달성했다.