[论文解读] Learning with Capsules: A Survey

Fabio De Sousa Ribeiro, Kévin Duarte+3 more|arXiv (Cornell University)|Jun 6, 2022

Multimodal Machine Learning Applications被引用 7

一句话总结

本综述全面概述了胶囊网络作为卷积神经网络（CNNs）的替代方案，通过动态路由建模层次化的部件-整体关系，以学习以对象为中心、姿态感知的表征。它揭示了胶囊网络与Transformer中注意力机制的关联，回顾了其在视觉、自然语言处理和医学影像等领域的应用，并指出了未来研究在效率、可扩展性和等变性方面面临的关键挑战。

ABSTRACT

Capsule networks were proposed as an alternative approach to Convolutional Neural Networks (CNNs) for learning object-centric representations, which can be leveraged for improved generalization and sample complexity. Unlike CNNs, capsule networks are designed to explicitly model part-whole hierarchical relationships by using groups of neurons to encode visual entities, and learn the relationships between those entities. Promising early results achieved by capsule networks have motivated the deep learning community to continue trying to improve their performance and scalability across several application areas. However, a major hurdle for capsule network research has been the lack of a reliable point of reference for understanding their foundational ideas and motivations. The aim of this survey is to provide a comprehensive overview of the capsule network research landscape, which will serve as a valuable resource for the community going forward. To that end, we start with an introduction to the fundamental concepts and motivations behind capsule networks, such as equivariant inference in computer vision. We then cover the technical advances in the capsule routing mechanisms and the various formulations of capsule networks, e.g. generative and geometric. Additionally, we provide a detailed explanation of how capsule networks relate to the popular attention mechanism in Transformers, and highlight non-trivial conceptual similarities between them in the context of representation learning. Afterwards, we explore the extensive applications of capsule networks in computer vision, video and motion, graph representation learning, natural language processing, medical imaging and many others. To conclude, we provide an in-depth discussion regarding the main hurdles in capsule network research, and highlight promising research directions for future work.

研究动机与目标

• 为胶囊网络研究提供一个统一且全面的参考，以解决基础概念和动机缺乏整合性参考点的问题。
• 分析胶囊路由机制的技术演进及各种公式化方法，包括生成式和几何方法。
• 探讨胶囊网络与Transformer中注意力机制之间的概念类比，特别是在高维共现过滤和基于一致性的特征检测方面的相似性。
• 综述胶囊网络在计算机视觉、自然语言处理、医学影像、故障诊断和伪造检测等领域的多样化应用。
• 识别并讨论主要开放挑战，包括计算效率低下、可扩展性不足以及对形式化等变性保证的需求，同时提出未来研究方向。

提出的方法

• 系统性地分类并解释胶囊网络的核心原理，包括使用向量值神经元（胶囊）来编码实体及其空间关系。
• 详细阐述基于一致性的路由机制，该机制根据预测与变换之间的一致性动态路由胶囊激活。
• 将胶囊网络与Transformer中的注意力机制进行比较，强调其共享原理，如高维向量运算和基于一致性的过滤。
• 综述架构变体，包括生成式胶囊网络、几何胶囊网络以及将胶囊模块与Transformer或ViT风格的图像块处理相结合的混合模型。
• 分析初级胶囊在学习低级部件表征中的作用，并讨论利用运动线索改进部件定义的最新进展。
• 评估胶囊网络在多个领域中的性能与局限性，包括视频理解、医学图像分割和异常检测。

实验结果

研究问题

• RQ1 胶囊网络如何通过显式建模部件-整体层次关系，相较于标准CNNs提升泛化能力和样本复杂度？
• RQ2 胶囊网络与Transformer中的自注意力机制在概念和技术上存在哪些相似性，特别是在共现过滤和基于一致性的路由方面？
• RQ3 考虑到当前硬件和框架的限制，胶囊网络在多大程度上可以实现可扩展性和优化以支持实际部署？
• RQ4 胶囊网络如何扩展以支持超越类别槽的更灵活槽表征？这可能带来哪些优势？
• RQ5 胶囊网络在几何深度学习中扮演何种角色，特别是在近似等变性和2D/3D任务中的性能表现方面？

主要发现

• 胶囊网络通过显式建模部件与整体之间的层次关系，为CNNs提供了一种有前景的替代方案，能够生成更具可解释性和鲁棒性的以对象为中心的表征。
• 尽管参数量和浮点运算量（FLOPs）低于同等规模的CNNs，胶囊网络在标准深度学习框架（如PyTorch和TensorFlow）中仍面临运行时性能差和内存效率低的问题。
• 胶囊路由与Transformer中注意力机制之间存在强烈的概念联系，特别是在利用高维向量一致性来检测有意义的空间或语义关系方面。
• 胶囊网络在多样化应用中表现出色，包括视频对象分割、动作识别、脑肿瘤分类和轴承故障诊断，在样本效率高的设置下常优于基线模型。
• 胶囊网络部署的主要瓶颈在于路由和胶囊投票过程的计算开销，即使采用最新优化技术，这些过程仍效率低下。
• 未来研究应聚焦于开发更高效的架构（如ViT风格的基于图像块的胶囊模型），并通过自监督运动线索和三维场景理解改进初级胶囊的学习。