[논문 리뷰] A multi-scale pyramid of 3D fully convolutional networks for abdominal multi-organ segmentation

Holger R. Roth, Chen Shen외 6명|arXiv (Cornell University)|2018. 06. 06.

Radiomics and Machine Learning in Medical Imaging참고 문헌 13인용 수 7

한 줄 요약

이 논문은 고해상도, 맥락 인식 가능한 복부 다기관 분할을 가능하게 하기 위해 자동 맥락 융합를 갖춘 3D 완전 컨volution 네트워크의 다중 척도 피라미드를 제안한다. 여러 척도에서 3D U-Net 유사 FCN을 스택하고 엔드 투 엔드 훈련을 통해 모델은 임상 CT 데이터셋에서 평균 Dice 스코어 89.0%를 달성했으며, 다른 병원 및 공개 벤치마크의 미사용 데이터에 대해서도 강력한 일반화 성능을 보였다.

ABSTRACT

Recent advances in deep learning, like 3D fully convolutional networks (FCNs), have improved the state-of-the-art in dense semantic segmentation of medical images. However, most network architectures require severely downsampling or cropping the images to meet the memory limitations of today's GPU cards while still considering enough context in the images for accurate segmentation. In this work, we propose a novel approach that utilizes auto-context to perform semantic segmentation at higher resolutions in a multi-scale pyramid of stacked 3D FCNs. We train and validate our models on a dataset of manually annotated abdominal organs and vessels from 377 clinical CT images used in gastric surgery, and achieve promising results with close to 90% Dice score on average. For additional evaluation, we perform separate testing on datasets from different sources and achieve competitive results, illustrating the robustness of the model and approach.

연구 동기 및 목표

• 3D 의료 영상 분할에서 GPU 메모리 제약을 해결하기 위해 과도한 자르기나 다운샘플링 없이 고해상도 추론을 가능하게 하기 위해.
• 혈관 및 소기관과 같은 미세한 구조의 분할 정확도를 향상시키기 위해 다중 척도 맥락 정보를 통합하기 위해.
• 자기 맥락을 사용해 척도 간 특징을 융합하는 엔드 투 엔드 훈련 가능한 프레임워크를 개발하여 고해상도에서의 특징 표현을 향상시키기 위해.
• 다른 병원 및 공개 자료에서의 미사용 데이터에 대한 일반화 성능을 평가하여 영상 변동성에 대비한 강인성을 입증하기 위해.

제안 방법

• 이 방법은 저해상도 특징 맵을 업샘플링하고 고해상도 입력과 연결하여 맥락을 풍부하게 하는 다중 척도 피라미드 3D FCN을 사용한다.
• 피라미드의 각 수준은 3×3×3 컨볼루션, ReLU 활성화 함수, 2×2×2 최대 풀링을 사용한 3D U-Net 유사 아키텍처를 사용한다.
• 자기 맥락은 더 거친 수준의 업샘플된 예측을 더 세밀한 수준의 네트워크에 추가 입력 특징으로 통합하여 맥락 인식적인 정밀 조정을 가능하게 한다.
• 각 피라미드 수준에서 Dice 손실을 사용해 엔드 투 엔드 훈련을 수행하여 다중 척도 특징과 예측의 공동 최적화를 가능하게 한다.
• 네트워크는 원본 해상도의 1/4에서 1/2 정도의 해상도에서 이미지를 처리하여 계산 효율성과 성능 사이의 균형을 맞춘다.
• 스킵 연결과 연결을 통해 척도 간 특징 융합을 실현하며, 공간 세부 정보를 유지하면서도 전반적인 맥락을 통합한다.

실험 결과

연구 질문

• RQ1 자기 맥락 융합를 갖춘 다중 척도 피라미드 3D FCN은 기존의 표준 3D FCN에 비해 복부 기관 및 혈관의 분할 정확도를 향상시킬 수 있는가?
• RQ2 맥락 주입을 통한 다중 척도 3D FCN의 엔드 투 엔드 훈련은 별도 훈련 또는 비맥락 기반 아키텍처에 비해 더 나은 성능을 낼 수 있는가?
• RQ3 제안된 방법은 다른 병원 및 영상 프로토콜에서의 미사용 데이터셋에 대해 어떻게 일반화되는가?
• RQ4 복부 분할을 위한 다중 척도 3D FCN 설계에서 해상도와 계산 비용 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 거시적 척도 맥락의 통합이 혈관 및 담낭과 같은 미세하거나 복잡한 구조의 세밀한 분할을 상당히 향상시킬 수 있는가?

주요 결과

• 제안된 엔드 투 엔드 다중 척도 3D FCN은 377건의 임상 CT 스캔으로 구성된 주요 훈련 및 검증 데이터셋에서 평균 Dice 스코어 89.0%를 달성했다.
• 다른 병원에서의 미사용 테스트 세트에서 모델은 평균 Dice 스코어 86.3%를 기록했으며, 강력한 일반화 능력과 강인성을 입증했다.
• 최신 기술인 [7] (평균 Dice 80.3%) 및 [9] (평균 Dice 65.0%)를 초월했으며, 간, 비장, 위 분할에서 특히 뛰어난 성능을 보였다.
• 자기 맥락 메커니즘이 미세한 구조, 특히 혈관의 분할을 크게 향상시켰으며, 시각적 비교에서 두 번째 수준의 예측이 더 완전한 혈관 세부 정보를 포착하는 것으로 나타났다.
• 저해상도 입력(4배 다운샘플링)을 사용함으로써 성능 향상이 상당히 이루어졌고, 더 높은 해상도의 최종 수준에서는 수익 감소 효과가 나타났다.
• 공개된 Visceral 데이터셋에서 재학습 없이도 평균 Dice 스코어 77.8%를 기록했으며, 동일한 기관 조합에 대해 도전 대회 랭킹의 최고 기록인 78.8%를 초월했다.