[논문 리뷰] Bridging the Gap Between 2D and 3D Organ Segmentation.

Yingda Xia, Lingxi Xie외 4명|arXiv (Cornell University)|2018. 04. 02.

Advanced Neural Network Applications참고 문헌 14인용 수 6

한 줄 요약

이 논문은 복부 장기의 부피형 분할을 위한 하이브리드 2D-3D 프레임워크를 제안한다. 이 프레임워크는 2D 네트워크를 다중 시점에서 훈련하고, 경량 3D 볼륨 융합 네트워크(VFN)를 사용해 출력을 융합함으로써, 표준 3D 네트워크보다 파rameter 수가 적지만 더 높은 정확도와 안정성을 달성한다. 이 방법은 데이터 효율성을 향상시키기 위해 크로스-크로스 증강 기법을 활용하며, 도전적인 복부 장기 데이터셋에서 2D 및 3D 기준 모델을 모두 능가한다.

ABSTRACT

There has been a debate on whether to use 2D or 3D deep neural networks for volumetric organ segmentation. Both 2D and 3D models have their advantages and disadvantages. In this paper, we present an alternative framework, which trains 2D networks on different viewpoints for segmentation, and builds a 3D Volumetric Fusion Net (VFN) to fuse the 2D segmentation results. VFN is relatively shallow and contains much fewer parameters than most 3D networks, making our framework more efficient at integrating 3D information for segmentation. We train and test the segmentation and fusion modules individually, and propose a novel strategy, named cross-cross-augmentation, to make full use of the limited training data. We evaluate our framework on several challenging abdominal organs, and verify its superiority in segmentation accuracy and stability over existing 2D and 3D approaches.

연구 동기 및 목표

• 부피형 장기 분할에 있어 2D 또는 3D 딥 러닝 모델이 더 나은가에 대한 지속적인 논의를 해결하기 위해.
• 3D 네트워크의 계산 및 파rameter 부담을 줄이면서도 3D 공간적 맥락을 유지하기 위해.
• 제한된 훈련 데이터를 활용해 새로운 데이터 증강 전략을 통해 분할 성능과 안정성을 향상시키기 위해.
• 2D와 3D 접근법 사이의 격차를 2D 예측을 3D 일관성 있는 출력으로 융합함으로써 메우기 위해.

제안 방법

• 3D 볼륨의 axial, sagittal, coronal 시점에서 2D 컨volution 신경망을 훈련시켜 다중 평면 맥락을 포착하기 위해.
• 2D 예측을 통합된 3D 분할 출력으로 융합하는 얕은 3D 볼륨 융합 네트워크(VFN)를 설계하기 위해.
• 일반화 성능 향상을 위해 분할 모듈과 융합 모듈에 대해 별도의 훈련 및 테스트 프로토콜을 사용하기 위해.
• 다른 시점 간의 변환을 적용하여 효과적인 훈련 데이터 다양성을 증가시키는, 크로스-크로스 증강 기법을 도입하기 위해.
• 공간 일관성을 유지하기 위해 VFN 내에서 학습된 어텐션 또는 연결 메커니즘을 사용해 2D 예측을 융합하기 위해.

실험 결과

연구 질문

• RQ1 다중 시점 예측을 활용함으로써 2D 기반 접근이 3D 분할 성능을 달성할 수 있는가?
• RQ2 경량 3D 융합 네트워크가 모델 복잡성을 크게 줄이면서도 정확도를 유지하거나 향상시킬 수 있는가?
• RQ3 크로스-크로스 증강 기법이 제한된 훈련 데이터 조건에서 일반화 성능을 효과적으로 향상시킬 수 있는가?
• RQ4 제안된 프레임워크는 최신 2D 및 3D 분할 모델과 비교해 정확도와 안정성 면에서 어떻게 성과를 내는가?

주요 결과

• 제안된 프레임워크는 여러 복부 장기에서 2D 및 3D 기준 모델보다 더 높은 분할 정확도를 달성한다.
• 볼륨 융합 네트워크(VFN)는 표준 3D 네트워크보다 훨씬 적은 파rameter를 사용하여 효율성을 향상시킨다.
• 크로스-크로스 증강 기법은 모델의 강인성과 성능을 향상시키며, 특히 데이터가 부족한 조건에서 두드러진다.
• 이 프레임워크는 다양한 장기 유형과 영상 프로토콜 간에 개선된 안정성을 보여준다.