[论文解读] Capsules for Object Segmentation

Rodney LaLonde, Ulaş Bağcı|arXiv (Cornell University)|Apr 11, 2018

Advanced Neural Network Applications参考文献 15被引用 215

一句话总结

本文提出 SegCaps，一种用于目标分割的深度卷积-反卷积胶囊网络，它利用局部约束的路由和反卷积胶囊，在 512x512 的图像上实现分割，参数远少于 U-Net。它在 CT 扫描的病理性肺部分割上展示了具有竞争力的 Dice 分数。

ABSTRACT

Convolutional neural networks (CNNs) have shown remarkable results over the last several years for a wide range of computer vision tasks. A new architecture recently introduced by Sabour et al., referred to as a capsule networks with dynamic routing, has shown great initial results for digit recognition and small image classification. The success of capsule networks lies in their ability to preserve more information about the input by replacing max-pooling layers with convolutional strides and dynamic routing, allowing for preservation of part-whole relationships in the data. This preservation of the input is demonstrated by reconstructing the input from the output capsule vectors. Our work expands the use of capsule networks to the task of object segmentation for the first time in the literature. We extend the idea of convolutional capsules with locally-connected routing and propose the concept of deconvolutional capsules. Further, we extend the masked reconstruction to reconstruct the positive input class. The proposed convolutional-deconvolutional capsule network, called SegCaps, shows strong results for the task of object segmentation with substantial decrease in parameter space. As an example application, we applied the proposed SegCaps to segment pathological lungs from low dose CT scans and compared its accuracy and efficiency with other U-Net-based architectures. SegCaps is able to handle large image sizes (512 x 512) as opposed to baseline capsules (typically less than 32 x 32). The proposed SegCaps reduced the number of parameters of U-Net architecture by 95.4% while still providing a better segmentation accuracy.

研究动机与目标

• 在文献中首次将胶囊网络扩展到对象分割。
• 通过局部约束路由和共享变换来解决传统胶囊网络的内存和参数爆炸问题。
• 引入反卷积胶囊以在大图像上实现深层分割架构。
• 通过对正类的掩蔽重构对分割进行正则化，以改进输入空间的嵌入。
• 在病理性肺部分割上展示 SegCaps，并与 U-Net 和 Tiramisu 进行比较。

提出的方法

• 用卷积步长和路由替代最大池化，以保持部分-整体关系。
• 引入局部约束的动态路由，其路由系数在 k_h x k_w 的卷积核内计算。
• 在每种胶囊类型内共享变换矩阵以降低参数。
• 通过局部路由，用反卷积（转置卷积）胶囊实现深度分割。
• 使用正类的掩蔽重构作为正则化损失，通过一个3层的 1x1 卷积网络与掩蔽 MSE。
• 在 LIDC-IDRI 的 LUNA16 子集中的 512x512 CT 切片上进行四折交叉验证的训练与评估。

实验结果

研究问题

• RQ1 胶囊网络是否能够在大图像尺寸（512x512）下有效地适应像素级对象分割？
• RQ2 局部约束路由和共享变换矩阵是否在保持或提高分割精度的同时减少内存/参数？
• RQ3 引入反卷积胶囊和掩蔽重构是否相较于 U-Net 及相关架构提高了分割性能？
• RQ4 与最先进方法相比，SegCaps 在 CT 扫描的病理性肺分割中的表现如何？

主要发现

• SegCaps 在 4 折中平均 Dice 分数为 98.479%，略高于 U-Net 和 Tiramisu。
• SegCaps 使用 1.4M 参数，相比 U-Net 降低 95.4%，相比 Tiramisu 降低 38.4%。
• 基线三层胶囊网络表现显著较差，凸显深度卷积-反卷积架构的优势。
• SegCaps 处理 512x512 输入，与先前仅限于较小输入（<=32x32）的胶囊模型不同。
• 定性结果显示在 CT 片段上，SegCaps 相对于 U-Net 减少了分割泄漏。
• 可视化表明最终的胶囊向量在分割区域之间捕捉到不同的纹理属性。