[논문 리뷰] 3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation

Özgün Çiçek, Ahmed Abdulkadir외 3명|arXiv (Cornell University)|2016. 06. 21.

Advanced Neural Network Applications참고 문헌 12인용 수 491

한 줄 요약

논문은 U-Net을 3D로 확장하여 희소하게 주석된 슬라이스를 사용해 부피 biomedical 이미지를 밀집하게 분割하고, 끝에서 끝까지 학습으로부터의 초기 학습 없이도 부분 자동 밀도화 및 완전 자동 분割을 가능하게 한다.

ABSTRACT

This paper introduces a network for volumetric segmentation that learns from sparsely annotated volumetric images. We outline two attractive use cases of this method: (1) In a semi-automated setup, the user annotates some slices in the volume to be segmented. The network learns from these sparse annotations and provides a dense 3D segmentation. (2) In a fully-automated setup, we assume that a representative, sparsely annotated training set exists. Trained on this data set, the network densely segments new volumetric images. The proposed network extends the previous u-net architecture from Ronneberger et al. by replacing all 2D operations with their 3D counterparts. The implementation performs on-the-fly elastic deformations for efficient data augmentation during training. It is trained end-to-end from scratch, i.e., no pre-trained network is required. We test the performance of the proposed method on a complex, highly variable 3D structure, the Xenopus kidney, and achieve good results for both use cases.

연구 동기 및 목표

• 희소하게 주석된 부피 이미지로부터 밀집한 3D 분割을 가능하게 한다.
• 사용자 지정 슬라이스가 전체 볼륨 분割을 안내하는 부분 자동 워크플로를 제공한다.
• 대표적인 희소 라벨 학습 세트로 완전 자동 분割을 가능하게 한다.
• 복잡한 Xenopus 신장 구조에서 접근 방식을 시연하고 2D 접근법 대비 이점을 정량화한다.

제안 방법

• 모든 연산을 3D 동등체로 교체하여 2D U-Net 아키텍처를 3D로 확장한다(3D 컨볼루션, 3D 맥스풀링, 3D 업-컨볼루션).
• 병목 없는 아키텍처를 사용하고 학습 속도를 높이기 위해 배치 정규화를 적용한다.
• 희소 주석에서 학습이 가능하도록 레이블이 없는 복셀을 무시하는 가중된 소프트맥스 손실로 처음부터 끝까지 학습한다.
• 적은 라벨링된 슬라이스로 일반화 성능을 높이기 위해 데이터 증가를 위한 시도적 탄성 변형을 적용한다.
• 큰 부피를 처리하기 위한 타일링 전략을 적용하여 3D 데이터 크기로 학습을 가능하게 한다.
• 오픈 소스 Caffe 기반 구현을 제공한다.

실험 결과

연구 질문

• RQ1 3D 완전 컨볼루셔널 네트워크가 희소 주석 슬라이스에서 밀집한 부피 분割을 학습할 수 있는가?
• RQ2 희소 주석에서 학습된 3D U-Net이 부분 자동 밀도화에서 2D 접근법과 비교했을 때 어떤 차이가 있는가?
• RQ3 부분 자동 및 완전 자동 설정에서 주석 슬라이스 수가 분割 성능에 미치는 영향은 어떠한가?
• RQ4 이 낮은 샘플 수와 고차원 설정에서 배치 정규화가 성능을 개선하는가?
• RQ5 매우 가변적인 3D 생물학적 구조(Xenopus 신장)에서 방법이 얼마나 잘 작동하며 새로운 부피에 일반화되는가?

주요 결과

• 부분 자동 분割에서 BN이 있는 3D U-Net은 IoU가 0.863(교차 폴드 평균)까지 달성하여 2D 기본 모델을 능가한다.
• 주석 슬라이스의 수를 늘리면 IoU가 비선형적으로 향상되며 매우 적은 슬라이스에서도 상당한 이점을 얻는다.
• 완전 자동 분割에서 BN으로 학습된 경우 3D 모델이 일반적으로 2D 대조군보다 우수하지만, BN은 일부 매우 이질적인 데이터 설정에서 비효과적일 수 있다.
• 3D 아키텍처는 부분 자동 및 완전 자동 시나리오에서 2D 구현에 비해 정량적 성능 이점을 제공한다.
• 이 접근 방식은 처음부터 학습될 수 있으며 사전 학습된 네트워크를 필요로 하지 않는다.