[论文解读] Hierarchical Taxonomy-Aware and Attentional Graph Capsule RCNNs for Large-Scale Multi-Label Text Classification

Hao Peng, Jianxin Li+6 more|arXiv (Cornell University)|Jun 9, 2019

Text and Document Classification Technologies参考文献 56被引用 26

一句话总结

本文提出 HE-AGCRCNN，一种用于大规模多标签文本分类的新型端到端框架，通过将文档建模为保留词序的图结构，以捕捉非连续的长距离语义和局部序列依赖关系。通过整合注意力LSTM、胶囊网络以及分层分类法感知的加权边缘损失，该模型在RCV1和EUR-Lex数据集上实现了最先进性能，显著提升了多标签分类准确率，同时有效利用了标签层次结构。

ABSTRACT

CNNs, RNNs, GCNs, and CapsNets have shown significant insights in representation learning and are widely used in various text mining tasks such as large-scale multi-label text classification. However, most existing deep models for multi-label text classification consider either the non-consecutive and long-distance semantics or the sequential semantics, but how to consider them both coherently is less studied. In addition, most existing methods treat output labels as independent methods, but ignore the hierarchical relations among them, leading to useful semantic information loss. In this paper, we propose a novel hierarchical taxonomy-aware and attentional graph capsule recurrent CNNs framework for large-scale multi-label text classification. Specifically, we first propose to model each document as a word order preserved graph-of-words and normalize it as a corresponding words-matrix representation which preserves both the non-consecutive, long-distance and local sequential semantics. Then the words-matrix is input to the proposed attentional graph capsule recurrent CNNs for more effectively learning the semantic features. To leverage the hierarchical relations among the class labels, we propose a hierarchical taxonomy embedding method to learn their representations, and define a novel weighted margin loss by incorporating the label representation similarity. Extensive evaluations on three datasets show that our model significantly improves the performance of large-scale multi-label text classification by comparing with state-of-the-art approaches.

研究动机与目标

• 为解决现有模型在同时捕捉文本中非连续、长距离及局部序列语义方面的局限性。
• 克服多标签文本分类中对层次化标签依赖关系的忽视，从而导致语义信息丢失的问题。
• 设计一种高效的深度学习框架，以一致方式整合多种文本特征类型与层次化标签结构。
• 与依赖欧几里得约束的现有递归正则化方法相比，降低计算复杂度。
• 通过利用文档级与标签级的结构信息，提升大规模多标签文本数据集上的分类性能。

提出的方法

• 将每个文档表示为保留词序的词图结构，并归一化为词矩阵，以同时保留长距离与序列语义。
• 采用注意力LSTM模块建模可变长度的词序列块，通过分配不同的注意力权重以增强序列特征学习。
• 整合胶囊网络以学习特征之间的分层空间关系，提升对空间变换的鲁棒性与特征注意力能力。
• 设计一种分层分类法感知的嵌入方法，基于分类法中的结构关系表示类别标签。
• 提出一种新型加权边缘损失，结合标签表示相似性，以增强泛化能力并减少多标签预测中的误差传播。
• 将图卷积操作与循环网络及胶囊网络相结合，联合学习文本中的局部、序列与全局语义模式。

实验结果

研究问题

• RQ1 统一的深度学习框架能否有效捕捉文本文档中非连续的长距离语义与局部序列依赖关系？
• RQ2 如何有效建模层次化标签依赖关系以提升多标签文本分类性能？
• RQ3 在损失函数中引入标签分类法在多大程度上能提升分类准确率与泛化能力？
• RQ4 与标准CNN/RNN方法相比，胶囊网络与注意力机制是否能协同提升多标签文本分类中的特征表示？
• RQ5 在大规模多标签文本分类基准上，所提出的HE-AGCRCNN模型在性能与效率方面与最先进模型相比如何？

主要发现

• 所提出的HE-AGCRCNN模型在RCV1与EUR-Lex数据集上实现了最先进性能，优于现有SOTA方法的多标签分类表现。
• 注意力LSTM的整合显著提升了对长文档中复杂句式结构的局部序列语义建模能力。
• 分层分类法感知的加权边缘损失通过利用标签相似性与结构层次，实现了更好的泛化效果并减少了误差传播。
• 胶囊网络组件通过捕捉文本特征之间的空间关系，增强了特征学习，提升了对输入扰动的鲁棒性。
• 词矩阵表示保留了丰富的语义信息，其性能优于传统的词袋或n-gram表示方法。
• 该模型在大规模数据集上展现出卓越的效率与可扩展性，优于依赖高计算成本的递归正则化模型。