[论文解读] Characterizing Renal Structures with 3D Block Aggregate Transformers

Xin Yu, Yucheng Tang+11 more|arXiv (Cornell University)|Mar 4, 2022

Advanced Neural Network Applications被引用 4

一句话总结

该论文提出UNesT，一种基于3D块聚合的3D分层变换器模型，旨在提升对比增强CT扫描中肾小结构（皮质、髓质、肾盂肾盏系统）的数据效率与分割精度。该方法在Dice分数达到0.8467的同时，与人工分割具有高度相关性（皮尔逊相关系数R = 0.9891），在公开数据集上展现出出色的可重复性与泛化能力，性能达到当前最先进水平。

ABSTRACT

Efficiently quantifying renal structures can provide distinct spatial context and facilitate biomarker discovery for kidney morphology. However, the development and evaluation of the transformer model to segment the renal cortex, medulla, and collecting system remains challenging due to data inefficiency. Inspired by the hierarchical structures in vision transformer, we propose a novel method using a 3D block aggregation transformer for segmenting kidney components on contrast-enhanced CT scans. We construct the first cohort of renal substructures segmentation dataset with 116 subjects under institutional review board (IRB) approval. Our method yields the state-of-the-art performance (Dice of 0.8467) against the baseline approach of 0.8308 with the data-efficient design. The Pearson R achieves 0.9891 between the proposed method and manual standards and indicates the strong correlation and reproducibility for volumetric analysis. We extend the proposed method to the public KiTS dataset, the method leads to improved accuracy compared to transformer-based approaches. We show that the 3D block aggregation transformer can achieve local communication between sequence representations without modifying self-attention, and it can serve as an accurate and efficient quantification tool for characterizing renal structures.

研究动机与目标

• 解决基于变换器的模型在3D医学影像中小结构分割中的数据效率低下问题。
• 开发一种分层3D变换器架构，以在不修改自注意力机制的前提下提升局部表征学习能力。
• 创建首个临床标注的肾小结构数据集（116例受试者），用于精确的体积分析。
• 实现对肾皮质、髓质和集合系统体积的可靠、自动化定量分析，以支持生物标志物发现。
• 在KiTS19等外部数据集上验证该方法的泛化能力与临床实用性。

提出的方法

• 提出UNesT，一种基于分层变换器编码器与3D块聚合的3D U形医学分割模型，以实现序列表征之间的信息交互。
• 引入一种块聚合函数，每两个变换器层合并一次8倍的补丁，从而在不改变全局自注意力机制的前提下增强局部归纳偏置。
• 采用简化设计，在保留标准自注意力机制的同时，提升小结构的数据效率与表征学习能力。
• 采用受嵌套ViT启发的嵌套变换器架构，实现对高分辨率3D医学影像的分层建模。
• 在新收集的116例对比增强CT扫描数据集上训练模型，其肾小结构由专家进行标注。
• 通过Dice分数、与人工分割的皮尔逊相关性以及在不同数据规模下的收敛性分析来验证性能。

实验结果

研究问题

• RQ1 3D块聚合机制是否能在不修改自注意力机制的前提下，提升基于变换器的3D医学图像分割的数据效率？
• RQ2 所提出的分层变换器设计是否在小肾小结构分割任务中优于标准变换器与局部自注意力变体？
• RQ3 该模型在外部数据集（如KiTS19）上的泛化能力如何？与现有最先进方法相比表现如何？
• RQ4 在低数据规模条件下，模型的性能与收敛速度如何变化？其与人工分割相比的可重复性如何？
• RQ5 该方法是否能与人工体积测量实现高度相关性，从而表明其在生物标志物发现中的临床实用性？

主要发现

• 所提出的UNesT模型在肾小结构数据集上达到0.8467的Dice分数，优于基线模型（0.8308），性能达到当前最先进水平。
• 自动化与人工体积测量之间的皮尔逊相关系数为0.9891，表明具有极强的可重复性与可靠性。
• 在低数据规模条件下，块聚合设计使Dice分数较第二好的方法提升超过4%，凸显其增强的数据效率。
• 在使用分层模块时，模型在2K次迭代下收敛快15%，在30K次迭代下快4%，表明训练动力学得到改善。
• 在公开的KiTS19数据集上评估时，UNesT对肾脏的Dice分数达到0.9778，对肿瘤的Dice分数达到0.8398，展现出强大的泛化能力。
• Bland-Altman分析表明，自动化分割与人工标注的一致性（平均差异：0.01）优于人与人之间的评分者一致性（0.29），表明具有高度可重复性。