[论文解读] Fast Dynamic Routing Based on Weighted Kernel Density Estimation

Suofei Zhang, Wei Zhao+2 more|arXiv (Cornell University)|May 28, 2018

Advanced Neural Network Applications参考文献 16被引用 9

一句话总结

该论文提出两种基于加权核密度估计（KDE）的快速动态路由方法，以降低胶囊网络的计算成本。通过将路由重新表述为使用优化核函数和距离度量的KDE聚类问题，该方法在仅造成可忽略的精度损失下，将推理速度提升约40%，从而实现混合CNN-胶囊网络架构中高效处理高分辨率图像。

ABSTRACT

Capsules as well as dynamic routing between them are most recently proposed structures for deep neural networks. A capsule groups data into vectors or matrices as poses rather than conventional scalars to represent specific properties of target instance. Besides of pose, a capsule should be attached with a probability (often denoted as activation) for its presence. The dynamic routing helps capsules achieve more generalization capacity with many fewer model parameters. However, the bottleneck that prevents widespread applications of capsule is the expense of computation during routing. To address this problem, we generalize existing routing methods within the framework of weighted kernel density estimation, and propose two fast routing methods with different optimization strategies. Our methods prompt the time efficiency of routing by nearly 40\% with negligible performance degradation. By stacking a hybrid of convolutional layers and capsule layers, we construct a network architecture to handle inputs at a resolution of $64 imes{64}$ pixels. The proposed models achieve a parallel performance with other leading methods in multiple benchmarks.

研究动机与目标

• 解决胶囊网络中动态路由带来的高计算成本问题，该问题限制了其在大规模视觉任务中的应用。
• 通过将路由重新思考为非参数聚类问题，提升推理效率，同时不牺牲模型性能。
• 开发适用于反向传播且适合结合卷积层与胶囊层的混合架构的简化路由方法。
• 通过降低路由复杂度，实现胶囊网络在高分辨率图像（如64×64像素）上的实际部署。

提出的方法

• 将动态路由重新表述为基于加权核密度估计（KDE）的问题，将胶囊激活和姿态表示为D维空间中的数据点。
• 提出两种路由变体：FRMS（基于均值漂移的快速路由）和FREM（基于EM的快速路由），二者均使用KDE来估计聚类密度。
• 采用Epanechnikov和高斯核函数，并结合基于余弦相似度的距离度量，以提升效率与稳定性。
• 引入基于软max的路由更新规则，利用类似注意力的路由权重，将迭代一致机制替换为单步优化。
• 将所提出的路由方法集成到结合卷积层与胶囊层的混合网络架构中，实现端到端学习。
• 通过用KDE驱动的聚类框架替代迭代路由一致过程，优化路由流程，在保持表征能力的同时降低计算量。

实验结果

研究问题

• RQ1 胶囊网络中的动态路由能否通过核密度估计被重新表述为非参数聚类问题？
• RQ2 如何调整核密度估计以在保持性能的同时降低胶囊路由的计算成本？
• RQ3 不同核函数与距离度量对路由效率与准确率有何影响？
• RQ4 简化路由方法能否有效集成到混合CNN-胶囊网络中，以实现高分辨率图像识别？
• RQ5 在不显著降低模型泛化能力的前提下，路由效率可提升至何种程度？

主要发现

• 所提出的FRMS与FREM路由方法相比标准动态路由，将计算时间减少了近40%，且性能下降可忽略。
• 基于KDE的路由框架使混合CNN-胶囊网络能够高效处理64×64像素图像，性能可与最先进方法相媲美。
• 采用Epanechnikov核函数并结合基于余弦相似度的距离度量，可得到与路由一致机制高度相似的路由变体，验证了该方法的理论一致性。
• 尽管FREM是EM路由的简化版本，但其性能与EM路由相当，表明对称核函数与简化先验在高效路由中具有可行性。
• 尽管理论上存在使用余弦相似度时收敛性的担忧，但实证结果表明，当与卷积特征提取结合时，训练过程仍保持稳定。
• 混合架构展现出强大的泛化能力与可扩展性，表明结合快速路由的胶囊网络可实际应用于大规模视觉任务。