[论文解读] A Context-aware Capsule Network for Multi-label Classification

Sameera Ramasinghe, C.D. Athuralya+1 more|arXiv (Cornell University)|Oct 15, 2018

Domain Adaptation and Few-Shot Learning参考文献 13被引用 4

一句话总结

该论文提出了一种上下文感知胶囊网络，通过引入可学习的路由权重初始化、用于建模主胶囊激活之间语义关系的条件随机场（CRF），以及基于Cholesky的关联模块来学习数据集范围内的优先级方案，从而提升多标签图像分类性能。该模型在ADE20K数据集上取得了56.71的mAP，相比原始CapsNet提升了14.33个百分点。

ABSTRACT

Recently proposed Capsule Network is a brain inspired architecture that brings a new paradigm to deep learning by modelling input domain variations through vector based representations. Despite being a seminal contribution, CapsNet does not explicitly model structured relationships between the detected entities and among the capsule features for related inputs. Motivated by the working of cortical network in human visual system, we seek to resolve CapsNet limitations by proposing several intuitive modifications to the CapsNet architecture. We introduce, (1) a novel routing weight initialization technique, (2) an improved CapsNet design that exploits semantic relationships between the primary capsule activations using a densely connected Conditional Random Field and (3) a Cholesky transformation based correlation module to learn a general priority scheme. Our proposed design allows CapsNet to scale better to more complex problems, such as the multi-label classification task, where semantically related categories co-exist with various interdependencies. We present theoretical bases for our extensions and demonstrate significant improvements on ADE20K scene dataset.

研究动机与目标

• 为解决CapsNet在多标签分类任务中未显式建模对象类别与胶囊特征之间结构化关系的局限性。
• 通过将等权重路由初始化替换为可学习、支持反向传播的初始化方案，提升训练收敛速度与性能。
• 利用端到端可训练的条件随机场（CRF），挖掘相邻主胶囊激活之间的语义依赖关系。
• 通过基于Cholesky变换的关联模块，学习主胶囊与决策胶囊之间的全局、数据集范围的优先级方案，而非逐样本路由。
• 将CapsNet扩展至包含丰富多标签标注和复杂场景构图的真实世界复杂数据集（如ADE20K）。

提出的方法

• 提出一种可学习的路由权重初始化方法，利用低层次特征图上的卷积核生成动态α参数，实现对初始路由权重的反向传播。
• 引入一个全连接的CRF模块，用于建模主胶囊预测之间的条件依赖关系，通过利用空间与语义关系，促进上下文感知的预测。
• 设计一种基于Cholesky的关联模块，通过学习主胶囊输出之间的相关性，在整个数据集中计算通用的优先级方案，提升全局一致性。
• 采用递归函数fρ，利用学习到的α参数组合主胶囊预测结果，所有操作均支持可微性，确保端到端训练。
• 使用公式10递归聚合主胶囊预测结果，其中α由卷积后的特征图生成，以自适应地加权各贡献。
• 将所提架构应用于ADE20K数据集，采用mAP（0.5阈值）作为150个物体类别上的评估指标。

实验结果

研究问题

• RQ1 可学习的初始路由权重是否能提升CapsNet在多标签分类任务中的收敛速度与最终性能？
• RQ2 基于CRF的模块在建模相邻主胶囊激活之间语义关系方面，能在多大程度上提升预测准确率？
• RQ3 能否通过学习主胶囊与决策胶囊之间通用优先级方案的全局关联模块，在复杂多标签任务中超越逐样本路由？
• RQ4 所提出的组件——可学习路由、CRF与关联模块——在提升ADE20K整体mAP方面如何相互补充？
• RQ5 CapsNet是否能有效扩展至大型、复杂、多标签数据集（如ADE20K），其中对象共现与空间依赖关系普遍存在？

主要发现

• 所提出的可学习路由权重初始化方法使收敛速度加快，验证mAP在第9个周期即稳定，而等权重初始化则需到第15个周期。
• 完整模型（含RW + CRF + CORR）在ADE20K上达到56.71的mAP，相比原始CapsNet的42.38 mAP提升了14.33个百分点。
• 仅CRF模块相比原始CapsNet即带来10.12个百分点的mAP增益，证明其在捕捉上下文依赖关系方面的有效性。
• 在CRF基础上叠加关联模块后，mAP额外提升4.21个百分点，表明其在学习全局优先级结构方面具有互补作用。
• 消融实验验证了每个组件——可学习路由、CRF与关联模块——均提供独特且累积的性能提升，证实了其独立贡献与协同效应。