[论文解读] Label-guided Learning for Text Classification

Xien Liu, Song Wang+4 more|arXiv (Cornell University)|Feb 25, 2020

Topic Modeling参考文献 16被引用 8

一句话总结

该论文提出 LguidedLearn，一种新颖的标签引导学习框架，通过在标签引导编码层中联合学习局部上下文信息与全局标签线索，增强文本分类性能。通过注意力编码将通用文本嵌入映射到特定标签空间，该方法实现了更具判别性的表征，在多个基准数据集上超越强基线模型（如 BiLSTM 和 LEAM），在 R52 上提升最高达 4.5%，在 Ohsumed 上提升高达 8.8%。

ABSTRACT

Text classification is one of the most important and fundamental tasks in natural language processing. Performance of this task mainly dependents on text representation learning. Currently, most existing learning frameworks mainly focus on encoding local contextual information between words. These methods always neglect to exploit global clues, such as label information, for encoding text information. In this study, we propose a label-guided learning framework LguidedLearn for text representation and classification. Our method is novel but simple that we only insert a label-guided encoding layer into the commonly used text representation learning schemas. That label-guided layer performs label-based attentive encoding to map the universal text embedding (encoded by a contextual information learner) into different label spaces, resulting in label-wise embeddings. In our proposed framework, the label-guided layer can be easily and directly applied with a contextual encoding method to perform jointly learning. Text information is encoded based on both the local contextual information and the global label clues. Therefore, the obtained text embeddings are more robust and discriminative for text classification. Extensive experiments are conducted on benchmark datasets to illustrate the effectiveness of our proposed method.

研究动机与目标

• 解决现有文本分类模型在表征学习过程中忽略全局标签信息的局限性。
• 通过将标签线索整合到编码过程中，提升文本表征的鲁棒性与判别性。
• 开发一种简单但高效的框架，可轻松与任意上下文编码模型结合。
• 证明联合学习上下文与标签感知表征可带来更优的分类性能。

提出的方法

• 引入标签引导编码层，对上下文编码器生成的通用文本嵌入执行基于标签的注意力编码。
• 每个标签由可学习的嵌入矩阵表示，使模型能够将输入文本映射到多个特定标签的嵌入空间。
• 该框架以端到端可训练的方式集成上下文编码（如 BiLSTM 或 BERT）与标签引导编码。
• 标签引导层使用查询-键-点积注意力机制对齐词语与标签表征，生成标签相关的嵌入。
• 该方法模块化，兼容多种预训练上下文编码器，包括 BiLSTM 和 BERT。
• 通过标准反向传播，联合优化上下文一致性与标签感知表征。

实验结果

研究问题

• RQ1 将标签信息作为全局线索引入，能否改善文本表征学习的分类性能？
• RQ2 与仅使用传统上下文编码相比，标签引导编码在分类准确率上有何差异？
• RQ3 联合学习上下文与标签感知特征是否能带来更鲁棒且更具判别性的嵌入？
• RQ4 每个标签的嵌入数量如何影响模型性能？
• RQ5 该标签引导层能否有效应用于 BERT 等现代预训练模型？

主要发现

• 在 R52 数据集上，LguidedLearn 达到 96.12% 的准确率，显著优于基线 BiLSTM（90.54%）和 LEAM（91.84%）。
• 在 Ohsumed 数据集上，LguidedLearn 相较于基线 BiLSTM（49.27% 对 69.89%）准确率提升 10.56 个百分点。
• 使用每个标签五个嵌入而非一个，20NG 数据集上的准确率提升 1.57%（85.58% 对 84.01%），证明了标签嵌入空间建模的优势。
• 当与 BERT 结合时，标签引导层将性能从 67.90%（BERT）提升至 20NG 上的 78.87%，表明其与强预训练模型的兼容性与有效性。
• 即使每个标签仅使用一个嵌入（LguidedLearn-1），其在所有数据集上仍优于 LEAM，表明所提框架设计的优越性。
• 初步实验表明，标签引导层在多种数据集（包括真实应用场景数据）上均带来一致的性能增益。