[논문 리뷰] A 3D Coarse-to-Fine Framework for Volumetric Medical Image Segmentation

Zhuotun Zhu, Yingda Xia외 3명|arXiv (Cornell University)|2017. 12. 01.

Advanced Neural Network Applications참고 문헌 29인용 수 6

한 줄 요약

이 논문은 CT 스캔에서 부신파나스의 부피적 분할을 위해 경량 3D 잔차 네트워크(ResDSN)를 사용한 3D 코arse-토-파인 프레임워크를 제안한다. 낮은 오버랩을 가진 코어스 3D FCN을 통해 부신파나스를 국소화한 후, 국소화된 영역에 대해 높은 오버랩을 가진 파인 3D FCN을 적용함으로써, 전체 부피 추론보다 36% 빠른 추론 속도를 달성하면서도 상태최저 성능(Dice 점수 84.59% 평균 DSC, NIH 데이터셋 기준)을 달성하며, 도전적인 정상 및 병리적 케이스에서의 강인성도 크게 향상시킨다.

ABSTRACT

In this paper, we adopt 3D Convolutional Neural Networks to segment volumetric medical images. Although deep neural networks have been proven to be very effective on many 2D vision tasks, it is still challenging to apply them to 3D tasks due to the limited amount of annotated 3D data and limited computational resources. We propose a novel 3D-based coarse-to-fine framework to effectively and efficiently tackle these challenges. The proposed 3D-based framework outperforms the 2D counterpart to a large margin since it can leverage the rich spatial infor- mation along all three axes. We conduct experiments on two datasets which include healthy and pathological pancreases respectively, and achieve the current state-of-the-art in terms of Dice-Sørensen Coefficient (DSC). On the NIH pancreas segmentation dataset, we outperform the previous best by an average of over 2%, and the worst case is improved by 7% to reach almost 70%, which indicates the reliability of our framework in clinical applications.

연구 동기 및 목표

• 소형, 변동성이 크고 병리적인 장기의 경우를 고려할 때, 부피적 CT 스캔에서 정확하고 효율적인 3D 부신파나스 분할 문제를 해결하기 위해.
• 2D 완전 컨volution 네트워크(FCN)의 한계를 극복하기 위해, 3D 공간적 맥락을 상실하고 슬라이스 수준의 예측이 일관성 없이 나타나는 문제를 해결하기 위해.
• GPU 메모리 제약 조건 하에서도 전체 3D 맥락을 활용하면서도 계산 비용이 적은 3D 딥 러닝 프레임워크를 개발하기 위해.
• 크기, 형태, 질감의 변동성으로 인해 Dice 점수가 낮아지는 경우에도 분할 성능을 향상시키기 위해, 정상 및 비정상 부신파나스 모두에서 성능을 향상시키기 위해.
• 적응형 오버랩 크기를 가진 새로운 코어스-토-파인 추론 전략을 통해 높은 정확도와 낮은 추론 시간 사이의 균형을 이루기 위해.

제안 방법

• 계산 비용을 줄이고 효율적인 추론을 가능하게 하기 위해 오직 장거리(skip) 연결만을 사용하는 3D 완전 컨volution 네트워크(ResDSN)를 설계한다.
• 코어스 단계에서는 전체 3D 부피에 대해 작은 오버랩(n=6)을 가진 슬라이딩 윈도우를 적용하여 ResDSN Coarse 모델을 사용해 부신파나스의 근사적인 국소화를 생성한다.
• 파인 단계에서는 코어스 국소화 영역에 대해서만 더 큰 오버랩(n=12)을 가진 ResDSN Fine 모델을 적용하여 정밀도를 높인 분할 결과를 얻는다.
• 프레임워크는 코어스 추론을 위한 전체 부피와 파인 추론을 위한 국소화된 경계 상자 두 가지 별도의 입력 영역을 사용하여 맥락 내에서 더 나은 특징 학습을 가능하게 한다.
• 코어스 및 파인 네트워크의 중간 레이어에서 보조 손실을 통해 딥 서포비전을 적용하여 학습 안정성과 일반화 성능을 향상시킨다.
• 저비용 코어스 탐지와 고정밀도 파인 보정을 조합한 이중 단계 추론 파이프라인을 통해 전체 추론 시간을 전체 부피 파인 추론 대비 36% 감소시켰다.

실험 결과

연구 질문

• RQ1 적응형 오버랩 크기를 가진 3D 코어스-토-파인 프레임워크는 부피적 부신파나스 분할의 정확도를 향상시키면서도 추론 시간을 줄일 수 있는가?
• RQ2 2D 슬라이스 단위 추론 방법과 비교할 때, 3D FCN이 전체 3D 공간 맥락을 활용함으로써 Dice 점수와 도전적인 케이스에서의 강인성 측면에서 어떤 차이를 보이는가?
• RQ3 딥 서포비전은 특히 낮은 Dice 점수 케이스에서 3D 부신파나스 분할 모델의 안정성과 성능 향상에 어느 정도 기여하는가?
• RQ4 오직 장거리 잔차 연결만을 사용하는 경량 3D 네트워크가 계산 비용을 크게 줄이면서도 높은 정확도를 유지할 수 있는가?
• RQ5 코어스-토-파인 전략은 정상 및 병리적 부신파나스, 특히 낭종 이상이 있는 경우에도 일반화 가능한가?

주요 결과

• 제안된 3D 코어스-토-파인 프레임워크(ResDSN C2F)는 NIH 부신파나스 데이터셋에서 평균 DSC 84.59%를 달성하여 이전 최신 기술 수준의 방법들을 능가한다.
• 딥 서포비전을 적용하기 전의 최악 케이스 DSC는 51.83%였지만, 딥 서포비전을 적용한 후 69.62%로 향상되어 어려운 케이스에서의 안정성 향상이 뚜렷하게 확인되었다.
• 프레임워크는 평균 추론 시간을 전체 부피 파인 추론의 382초에서 245초로 36% 단축시켰으며, 더 높은 정확도를 유지하였다.
• ResDSN Coarse 모델은 단지 111초의 추론 시간에 평균 DSC 83.18%를 달성하여 코어스 국소화의 높은 효율성을 입증하였다.
• 2D 베이스라인에 비해 뚜렷한 성능 향상을 보였으며, 특히 낮은 DSC 케이스에서 7% 향상되어 약 70% DSC에 도달하였다.
• 정상 및 병리적 부신파나스, 낭종 변형까지 포함하여 프레임워크가 효과적으로 작동함을 확인하여 임상적으로 유의미한 상황에서의 강인성을 입증하였다.