[论文解读] Learning Compositional Structures for Deep Learning: Why Routing-by-agreement is Necessary

Sairaam Venkatraman, Ankit Anand+2 more|arXiv (Cornell University)|Oct 4, 2020

Topic Modeling参考文献 18被引用 7

一句话总结

本文提出在胶囊网络的路由权重中引入熵正则化，以强化组合结构，证明较低的路由熵能提升对数据中组合性变化的检测能力，同时保持与无正则化模型相当的分类准确率。该方法通过解析树结构形式化组合性，并表明基于一致性的路由机制对于此类表征学习至关重要。

ABSTRACT

A formal description of the compositionality of neural networks is associated directly with the formal grammar-structure of the objects it seeks to represent. This formal grammar-structure specifies the kind of components that make up an object, and also the configurations they are allowed to be in. In other words, objects can be described as a parse-tree of its components -- a structure that can be seen as a candidate for building connection-patterns among neurons in neural networks. We present a formal grammar description of convolutional neural networks and capsule networks that shows how capsule networks can enforce such parse-tree structures, while CNNs do not. Specifically, we show that the entropy of routing coefficients in the dynamic routing algorithm controls this ability. Thus, we introduce the entropy of routing weights as a loss function for better compositionality among capsules. We show by experiments, on data with a compositional structure, that the use of this loss enables capsule networks to better detect changes in compositionality. Our experiments show that as the entropy of the routing weights increases, the ability to detect changes in compositionality reduces. We see that, without routing, capsule networks perform similar to convolutional neural networks in that both these models perform badly at detecting changes in compositionality. Our results indicate that routing is an important part of capsule networks -- effectively answering recent work that has questioned its necessity. We also, by experiments on SmallNORB, CIFAR-10, and FashionMNIST, show that this loss keeps the accuracy of capsule network models comparable to models that do not use it .

研究动机与目标

• 使用源自空间语法规则的解析树语法形式化神经网络的组合结构。
• 识别卷积神经网络（CNNs）缺乏为推导规则分配重要性的机制，而胶囊网络具备该能力。
• 探究通过路由权重的熵正则化是否可改进胶囊网络中的基于一致性的路由。
• 评估熵正则化是否能在不降低分类性能的前提下提升组合泛化能力。
• 证明具有低路由熵的胶囊网络能够检测组合结构的变化，而CNNs或未正则化的胶囊网络则不能。

提出的方法

• 使用基于语法的框架形式化CNN和胶囊网络的组合结构，其中对象被表示为部件的解析树，且仅允许特定配置。
• 将动态路由中的路由权重定义为预测间共识的指标，低熵表示对单一深层胶囊的强且明确的路由。
• 引入熵损失函数，惩罚路由权重中的高熵，以鼓励稀疏且明确的路由决策。
• 通过加权和将熵损失与标准分类损失结合，超参数在不同调度策略或固定值中进行调优。
• 在SmallNORB、CIFAR-10和FashionMNIST数据集上训练带与不带熵正则化的胶囊网络，同时测量准确率和路由熵。
• 使用经控制的、组合结构被改变的数据（如人脸部件重新排列）来评估组合泛化性能。

实验结果

研究问题

• RQ1 基于形式语法的描述能否区分CNN和胶囊网络的组合能力？
• RQ2 胶囊网络中路由权重的熵是否与检测组合结构变化的能力相关？
• RQ3 对路由权重进行熵正则化能否在不牺牲分类准确率的前提下提升胶囊网络的组合泛化能力？
• RQ4 熵正则化胶囊网络在组合结构检测任务中的表现与未正则化胶囊网络及CNN相比如何？
• RQ5 基于一致性的路由是否为胶囊网络实现组合表征所必需？

主要发现

• 经过熵正则化的路由权重的胶囊网络在检测组合结构变化方面显著优于未正则化的胶囊网络或CNNs。
• 路由权重的熵与组合泛化能力呈负相关：熵越高，对结构变化的检测能力越差。
• 熵正则化胶囊网络在SmallNORB、CIFAR-10和FashionMNIST上的测试集准确率与未正则化模型相当，所有数据集的平均准确率差异在1%-2%以内。
• 在FashionMNIST上，0.4caps1模型达到90.33%的准确率，平均熵损失为0.0003；而未正则化的unregcaps1模型准确率为92.73%，熵损失更高（1.05）。
• 采用Peer等人（2018）提出的路由算法的模型表现与正则化模型相似，表明路由机制的设计对组合学习至关重要。
• 正则化模型在不同训练运行中的准确率存在波动，表明在所有层上优化熵损失仍具挑战性，但核心目标——提升组合能力——已达成。