[论文解读] Instance Segmentation of Fibers from Low Resolution CT Scans via 3D Deep Embedding Learning

Tomasz Konopczyński, Thorben Kröger+2 more|arXiv (Cornell University)|Jan 4, 2019

Medical Imaging Techniques and ApplicationsMedicine被引用 22

一句话总结

本文提出了一种用于短玻璃纤维增强聚合物低分辨率CT扫描中纤维实例分割的3D深度嵌入学习框架。通过结合3D全卷积网络与嵌入分支，并采用合并后处理策略，该方法在具有挑战性的低分辨率数据上实现了最先进（SOTA）的实例分割性能，合并后的调整兰德指数（Adjusted Rand Index）达到0.6529，优于传统分水岭法和连通分量法。

ABSTRACT

We propose a novel approach for automatic extraction (instance segmentation) of fibers from low resolution 3D X-ray computed tomography scans of short glass fiber reinforced polymers. We have designed a 3D instance segmentation architecture built upon a deep fully convolutional network for semantic segmentation with an extra output for embedding learning. We show that the embedding learning is capable of learning a mapping of voxels to an embedded space in which a standard clustering algorithm can be used to distinguish between different instances of an object in a volume. In addition, we discuss a merging post-processing method which makes it possible to process volumes of any size. The proposed 3D instance segmentation network together with our merging algorithm is the first known to authors knowledge procedure that produces results good enough, that they can be used for further analysis of low resolution fiber composites CT scans.

研究动机与目标

• 为解决在短玻璃纤维增强聚合物的低分辨率3D CT扫描中实例分割的挑战，传统方法因分辨率不足而失效。
• 开发一种基于深度学习的方法，以实现对单根纤维的精确提取，用于后续的力学性能分析。
• 克服Hessian滤波器与分水岭分割在密集排列、细长纤维结构中的局限性。
• 提出一种新颖的基于嵌入学习的3D实例分割框架，其泛化能力超越纤维复合材料，适用于各类体素数据。
• 通过子体积合并后处理策略，验证方法在大规模数据上的鲁棒性与可扩展性。

提出的方法

• 该方法采用具有两个并行分支的3D全卷积网络：一个用于语义分割，另一个用于在连续空间中学习体素嵌入。
• 嵌入分支将每个体素映射到一个特征向量，使得属于同一根纤维簇的体素在嵌入空间中彼此接近。
• 在分割区域内对嵌入表示应用聚类算法（k-means），将每个体素分配给不同的纤维实例。
• 网络通过处理输入体积分块（32×32×32）的重叠子体积来处理大规模数据，并采用自定义合并算法解决相邻子体积间的空间不一致性。
• 合并算法倾向于合并而非分裂，以减少误分裂，提升重叠区域的一致性。
• 模型通过联合损失函数进行训练，结合二值交叉熵损失用于语义分割与三元组损失用于嵌入学习，超参数β=1和γ=0.001。

实验结果

研究问题

• RQ1 深度嵌入学习能否有效适配于低分辨率CT扫描中细长圆柱形物体（如纤维）的3D实例分割？
• RQ2 在低分辨率SFRP数据上，所提出的基于嵌入的方法相较于传统分水岭法与连通分量法的性能如何？
• RQ3 语义分割分支的质量在多大程度上影响最终实例分割的准确性？
• RQ4 合并策略能否在不引入显著伪影或错误的前提下，有效处理重叠子体积的预测结果？
• RQ5 通过子体积处理与合并，该方法是否可扩展至任意大小的3D体数据？

主要发现

• 所提方法在重叠子体积上的平均调整兰德指数（ARI）达到0.9048，表明其在局部块上具有出色的性能。
• 在合并重叠子体积后，ARI分数下降至0.6529，反映出在紧密排列纤维间模糊边界处的处理挑战。
• 当使用真实标签的语义分割掩码而非预测掩码时，合并后的ARI提升至0.7817，表明语义分割分支对最终实例准确率有显著影响。
• 标准连通分量法表现欠佳，即使在使用真实标签语义掩码时，合并后的ARI也仅达0.2112。
• 语义分割分支本身达到0.9784的Dice分数，证实了其对前景区域的高质量预测。
• 该方法是首个已知能从低分辨率SFRP CT扫描中生成可靠实例分割结果的方法，在定量与定性评估中均优于所有基线方法。