[논문 리뷰] A New Probabilistic V-Net Model with Hierarchical Spatial Feature Transform for Efficient Abdominal Multi-Organ Segmentation

Minfeng Xu, Heng Guo외 3명|arXiv (Cornell University)|2022. 08. 02.

Radiomics and Machine Learning in Medical Imaging인용 수 4

한 줄 요약

이 논문은 효율적이고 정확한 Abdomen multi-organ 분할을 위해 계층적 공간 특징 변환을 갖춘 확률적 V-Net을 제안한다. 입력 이미지 기반으로 잠재 공간에서 기관별 의미적 변동성을 모델링하기 위해 조건부 변동 자동에코더를 활용하고, 이를 공간별 애핀 변환을 통해 특징 맵에 통합함으로써, nnUNet 및 CoTr 대비 약 7배 빠른 추론 속도를 달성하면서도 신장에 대해 7.3%, 췌장에 대해 9.7% 향상된 Dice 점수를 기록한다.

ABSTRACT

Accurate and robust abdominal multi-organ segmentation from CT imaging of different modalities is a challenging task due to complex inter- and intra-organ shape and appearance variations among abdominal organs. In this paper, we propose a probabilistic multi-organ segmentation network with hierarchical spatial-wise feature modulation to capture flexible organ semantic variants and inject the learnt variants into different scales of feature maps for guiding segmentation. More specifically, we design an input decomposition module via a conditional variational auto-encoder to learn organ-specific distributions on the low dimensional latent space and model richer organ semantic variations that is conditioned on input images.Then by integrating these learned variations into the V-Net decoder hierarchically via spatial feature transformation, which has the ability to convert the variations into conditional Affine transformation parameters for spatial-wise feature maps modulating and guiding the fine-scale segmentation. The proposed method is trained on the publicly available AbdomenCT-1K dataset and evaluated on two other open datasets, i.e., 100 challenging/pathological testing patient cases from AbdomenCT-1K fully-supervised abdominal organ segmentation benchmark and 90 cases from TCIA+&BTCV dataset. Highly competitive or superior quantitative segmentation results have been achieved using these datasets for four abdominal organs of liver, kidney, spleen and pancreas with reported Dice scores improved by 7.3% for kidneys and 9.7% for pancreas, while being ~7 times faster than two strong baseline segmentation methods(nnUNet and CoTr).

연구 동기 및 목표

• CT 스캔 간 복부 기관의 형태와 외관에 큰 변동성이 존재하는 문제를 해결하기 위해.
• 다양한 해부학적 및 병리학적 경우에서 간, 신장, 비장, 췌장의 분할 정확도와 견고성을 향상시키기 위해.
• 다기관 분할 작업에서 높은 성능을 유지하면서도 빠른 추론을 구현하는 방법을 개발하기 위해.
• 입력 이미지에 조건부로 설정된 학습 가능한 잠재 공간을 활용해 복잡한 기관별 의미적 변동성을 모델링하기 위해.
• 학습된 변동성을 계층적으로 특징 맵에 통합하여 분할 과정에서 더 정교한 공간 가이던스를 제공하기 위해.

제안 방법

• 입력 CT 영상에서 기관별 분포를 저차원 잠재 공간에서 학습하기 위해 조건부 변동 자동에코더(CVAE)를 사용한다.
• CVAE에서 유도된 잠재 코드는 다중 스케일에서 특징 맵을 조절하기 위한 공간별 애핀 변환 파라미터를 예측한다.
• 계층적 공간 특징 변환은 다양한 수준에서 디코더 특징 맵에 학습된 의미적 변동성을 통합함으로써 세밀한 분할 성능을 향상시킨다.
• 불확실성 모델링과 형태 및 강도 변동에 대한 견고성 향상을 위해 V-Net 아키텍처에 확률적 디코딩을 확장한다.
• 모델은 AbdomenCT-1K 데이터셋에서 엔드 투 엔드로 훈련되며, 두 개의 개방형 벤치마크에서 평가된다: AbdomenCT-1K(100개 테스트 케이스) 및 TCIA+&BTCV(90개 케이스).
• 공간별 애핀 변환을 사용하여 특징 맵을 조건부로 조절함으로써 기관별 패턴에 동적으로 적응할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 학습된 잠재 기관 변동성을 갖춘 확률적 V-Net이 도전적인 복부 CT 스캔에서 분할 정확도를 향상시킬 수 있는가?
• RQ2 계층적 공간 특징 변환은 기관 분할을 위한 다중 스케일 특징 조절에 어떻게 기여하는가?
• RQ3 기관별 의미적 변동성을 통합함으로써 성능을 유지하면서도 추론 속도를 높일 수 있는가?
• RQ4 모델은 병리학적 및 다양한 해부학적 경우에 얼마나 잘 일반화되는가?
• RQ5 최신 기술(nnUNet 및 CoTr)과 비교했을 때 성능 및 속도 측면에서 어떤가?

주요 결과

• 제안된 방법은 AbdomenCT-1K 테스트 세트에서 강력한 기준 모델 대비 신장에 대해 7.3% 상대적인 Dice 점수 향상을 달성했다.
• 췌장에 대해서는 9.7%의 Dice 점수 향상이 기록되어 가장 도전적인 기관에서 뚜렷한 성과를 보였다.
• nnUNet 및 CoTr 대비 약 7배 더 빠른 추론 속도를 확보하여 효율성 향상을 크게 이룩했다.
• AbdomenCT-1K의 100개의 도전적이고 병리학적 케이스에서 뛰어난 성능을 보이며 일반화 능력을 확인했다.
• 공간별 애핀 변환을 통해 CVAE로 학습된 기관별 특성 변동성을 통합함으로써 특징 조절 및 분할 정확도 향상이 이루어졌다.
• TCIA+&BTCV 데이터셋에서의 정량적 결과는 본 방법의 뛰어난 성능과 다양한 데이터 분포에 대한 일반화 능력을 추가로 검증했다.