[论文解读] Investigating Capsule Networks with Dynamic Routing for Text Classification

Wei Zhao, Jianbo Ye+4 more|arXiv (Cornell University)|Mar 29, 2018

Text and Document Classification Technologies参考文献 22被引用 101

一句话总结

本论文提出了一种具备三种路由稳定化策略的胶囊网络用于文本分类，并在六个基准数据集上展示了具有竞争力的结果，在从单标签到多标签的迁移任务中有显著提升。

ABSTRACT

In this study, we explore capsule networks with dynamic routing for text classification. We propose three strategies to stabilize the dynamic routing process to alleviate the disturbance of some noise capsules which may contain "background" information or have not been successfully trained. A series of experiments are conducted with capsule networks on six text classification benchmarks. Capsule networks achieve state of the art on 4 out of 6 datasets, which shows the effectiveness of capsule networks for text classification. We additionally show that capsule networks exhibit significant improvement when transfer single-label to multi-label text classification over strong baseline methods. To the best of our knowledge, this is the first work that capsule networks have been empirically investigated for text modeling.

研究动机与目标

• 推动使用胶囊网络将文本建模为部分-整体关系，并在传统 CNN/RNN 表示之外保留实例化参数。
• 为动态路由开发稳定化策略，以降低来自背景词的噪声。
• 在六个文本分类基准数据集上评估 Capsule-A 和 Capsule-B 架构，使用预训练词嵌入。
• 展示在单标签到多标签文本分类中的鲁棒性和迁移能力，特别是在 Reuters 数据集上。

提出的方法

• 使用 n-gram 卷积层提取局部文本特征。
• 在四层结构中将标量检测器替换为向量胶囊（初级、卷积胶囊、全连接胶囊）。
• 使用带有三种稳定化策略的动态路由：孤儿类别、leaky-softmax 和 系数修正。
• 在六个数据集上实验两种胶囊架构（Capsule-A 和 Capsule-B），并与强基线进行比较。
• 使用预训练 Word2Vec 嵌入进行训练，采用 Adam 优化算法和三次路由迭代。

实验结果

研究问题

• RQ1 具备动态路由的胶囊网络是否能提高文本分类性能，相较于传统的 CNN/LSTM 基线？
• RQ2 稳定化策略（孤儿类别、leaky-softmax、系数修正）是否能降低文本数据中背景词的噪声？
• RQ3 由于其多 n-gram 输入配置，Capsule-B 是否优于 Capsule-A？
• RQ4 胶囊网络在单标签到多标签文本分类任务中的迁移能力有多强？

主要发现

• 胶囊网络在六个基准中的四个上取得最佳结果，在多样化文本分类任务中展现出竞争力。
• Capsule-B 持续优于 Capsule-A，可能是由于使用了多个 n-gram 输入（3、4、5）以捕捉更丰富的特征。
• 三种路由稳定化策略共同提高了对嘈杂胶囊的路由鲁棒性。
• 在 Reuters 数据集的多标签迁移中，胶囊网络相较于强基线显示出显著改进，特别是在训练数据仅有单标签时。
• 路由迭代（3 次）相比更少的迭代更快收敛，端末损失更低。
• 消融研究证实，移除任一稳定化组件都会降低性能。