[论文解读] Deformable Capsules for Object Detection

Rodney Lalonde, Naji Khosravan+1 more|arXiv (Cornell University)|Apr 11, 2021

Advanced Neural Network Applications被引用 4

一句话总结

该论文提出了DeformCaps，首个用于目标检测的胶囊网络，结合了创新的SplitCaps架构与SE-Routing算法，实现了在MS COCO数据集上的高效、可扩展的一阶段检测。其性能达到当前最先进水平，与基于CNN的检测器相当，同时减少了误检并提升了对异常物体姿态的泛化能力。

ABSTRACT

Capsule networks promise significant benefits over convolutional networks by storing stronger internal representations, and routing information based on the agreement between intermediate representations' projections. Despite this, their success has been limited to small-scale classification datasets due to their computationally expensive nature. Though memory efficient, convolutional capsules impose geometric constraints that fundamentally limit the ability of capsules to model the pose/deformation of objects. Further, they do not address the bigger memory concern of class-capsules scaling up to bigger tasks such as detection or large-scale classification. In this study, we introduce a new family of capsule networks, deformable capsules ( extit{DeformCaps}), to address a very important problem in computer vision: object detection. We propose two new algorithms associated with our extit{DeformCaps}: a novel capsule structure ( extit{SplitCaps}), and a novel dynamic routing algorithm ( extit{SE-Routing}), which balance computational efficiency with the need for modeling a large number of objects and classes, which have never been achieved with capsule networks before. We demonstrate that the proposed methods efficiently scale up to create the first-ever capsule network for object detection in the literature. Our proposed architecture is a one-stage detection framework and it obtains results on MS COCO which are on par with state-of-the-art one-stage CNN-based methods, while producing fewer false positive detection, generalizing to unusual poses/viewpoints of objects.

研究动机与目标

• 为解决计算机视觉中大规模目标检测领域缺乏胶囊网络这一关键问题。
• 克服传统胶囊网络在扩展至MS COCO等大规模数据集时所面临的计算与表征能力限制。
• 通过在路由过程中去除刚性空间约束，使胶囊能够建模复杂的物体姿态与形变。
• 设计一种内存高效的胶囊架构，能够处理大量物体类别与实例。
• 证明胶囊网络可在单阶段检测基准上实现与CNN相当的性能。

提出的方法

• 提出DeformCaps，一种使用胶囊进行联合定位与分类的一阶段目标检测框架。
• 提出SplitCaps，一种新型胶囊结构，将与类别无关的实例化参数与类别相关的存在性及身份参数解耦，降低维度并提升可扩展性。
• 设计SE-Routing，一种受Squeeze-and-Excitation启发的动态路由算法，通过最大化子胶囊投影之间的一致性，无需迭代循环。
• 在父胶囊中采用可变形采样，以自适应地关注子胶囊，消除固定局部感受野，提升几何灵活性。
• 采用基于胶囊的头部结构并附加重建头以实现掩码预测，支持潜在的单阶段实例分割。
• 利用胶囊向量表示编码姿态、形变、色调与纹理，增强部件-整体关系的建模能力。

实验结果

研究问题

• RQ1 胶囊网络能否扩展至大规模目标检测任务，如MS COCO？
• RQ2 基于胶囊的架构能否在准确率上超越或匹配基于CNN的一阶段检测器，同时减少误检？
• RQ3 可变形路由机制能否提升对异常物体姿态与视角的泛化能力？
• RQ4 胶囊架构能否避免全局路由带来的计算爆炸，同时保持强大的表征能力？
• RQ5 像SplitCaps这样的新型胶囊结构能否消除此前阻碍大规模训练的维度爆炸问题？

主要发现

• DeformCaps在MS COCO上的目标检测性能与当前最先进的一阶段CNN检测器相当。
• 与CenterNet等基线方法相比，该模型显著减少了误检数量。
• 定性结果表明，对异常物体姿态与视角的泛化能力得到提升，支持胶囊在姿态鲁棒性方面的理论优势。
• SplitCaps成功降低了胶囊表示的维度，首次使胶囊网络能够在大规模数据集上进行训练。
• SE-Routing实现了无需迭代循环的高效动态路由，在保持路由一致性的同时提升了计算效率。
• 所提出的框架是文献中首个基于胶囊的目标检测系统，标志着胶囊网络在视觉任务中实现可扩展应用的重要基础一步。