[论文解读] A New Probabilistic V-Net Model with Hierarchical Spatial Feature Transform for Efficient Abdominal Multi-Organ Segmentation

Minfeng Xu, Heng Guo+3 more|arXiv (Cornell University)|Aug 2, 2022

Radiomics and Machine Learning in Medical Imaging被引用 4

一句话总结

该论文提出了一种具有分层空间特征变换的概率性V-Net，用于实现高效且精确的腹部多器官分割。通过利用条件变分自编码器在潜在空间中建模器官特异的语义变化，并通过空间自适应仿射变换注入这些变化，该方法在nnUNet和CoTr的基础上实现了约7倍的推理速度提升，同时将肾脏的Dice分数提高了7.3%，胰腺的Dice分数提高了9.7%。

ABSTRACT

Accurate and robust abdominal multi-organ segmentation from CT imaging of different modalities is a challenging task due to complex inter- and intra-organ shape and appearance variations among abdominal organs. In this paper, we propose a probabilistic multi-organ segmentation network with hierarchical spatial-wise feature modulation to capture flexible organ semantic variants and inject the learnt variants into different scales of feature maps for guiding segmentation. More specifically, we design an input decomposition module via a conditional variational auto-encoder to learn organ-specific distributions on the low dimensional latent space and model richer organ semantic variations that is conditioned on input images.Then by integrating these learned variations into the V-Net decoder hierarchically via spatial feature transformation, which has the ability to convert the variations into conditional Affine transformation parameters for spatial-wise feature maps modulating and guiding the fine-scale segmentation. The proposed method is trained on the publicly available AbdomenCT-1K dataset and evaluated on two other open datasets, i.e., 100 challenging/pathological testing patient cases from AbdomenCT-1K fully-supervised abdominal organ segmentation benchmark and 90 cases from TCIA+&BTCV dataset. Highly competitive or superior quantitative segmentation results have been achieved using these datasets for four abdominal organs of liver, kidney, spleen and pancreas with reported Dice scores improved by 7.3% for kidneys and 9.7% for pancreas, while being ~7 times faster than two strong baseline segmentation methods(nnUNet and CoTr).

研究动机与目标

• 为解决CT扫描中腹部器官形状和外观高度多变的挑战。
• 在多种解剖和病理情况下，提升肝脏、肾脏、脾脏和胰腺分割的鲁棒性与准确性。
• 开发一种快速推理方法，同时在多器官分割任务中保持高性能。
• 利用可学习的潜在空间，对输入图像条件化的复杂器官特异性语义变化进行建模。
• 将学习到的变异以分层方式整合到特征图中，以提升分割任务中的空间引导能力。

提出的方法

• 使用条件变分自编码器（CVAE）从输入CT图像中学习低维潜在空间中的器官特异性分布。
• 利用CVAE生成的潜在码预测多尺度特征图的空间自适应仿射变换参数，以调制特征图。
• 分层空间特征变换在不同层级将学习到的语义变异注入解码器特征，增强细粒度分割能力。
• 通过概率解码扩展V-Net架构，以建模不确定性，并提升对形状和强度变化的鲁棒性。
• 模型在AbdomenCT-1K数据集上端到端训练，并在两个公开基准上进行评估：AbdomenCT-1K（100个测试样本）和TCIA+&BTCV（90个样本）。
• 该方法使用空间自适应仿射变换对特征图进行条件调制，实现对器官特异性模式的动态适应。

实验结果

研究问题

• RQ1 具有学习到的潜在器官变异的概率性V-Net能否在具有挑战性的腹部CT扫描中提升分割准确性？
• RQ2 分层空间特征变换如何增强多尺度特征调制以提升器官分割性能？
• RQ3 将器官特异性语义变异整合是否能在不损失性能的前提下实现更快的推理速度？
• RQ4 该模型在病理和多样化解剖情况下的泛化能力如何？
• RQ5 与nnUNet和CoTr等最先进模型相比，该方法在性能和速度上的表现如何？

主要发现

• 在AbdomenCT-1K测试集上，与强基线相比，该方法在肾脏分割上实现了7.3%的相对Dice分数提升。
• 胰腺的Dice分数提升了9.7%，表明在最具挑战性的器官上取得了显著增益。
• 该模型的推理速度比nnUNet和CoTr快约7倍，显著提升了效率。
• 该方法在AbdomenCT-1K中100个具有挑战性和病理性的病例上表现出稳健性能，证实了其泛化能力。
• 通过空间自适应仿射变换整合CVAE学习到的器官特异性变异，显著改善了特征调制与分割准确性。
• 在TCIA+&BTCV数据集上的定量结果进一步验证了该方法在多样化数据分布下的卓越性能与泛化能力。