[论文解读] A Deep Reinforced Sequence-to-Set Model for Multi-Label Text Classification

Pengcheng Yang, Shuming Ma+4 more|arXiv (Cornell University)|Sep 10, 2018

Text and Document Classification Technologies参考文献 20被引用 5

一句话总结

本文提出了一种用于多标签文本分类的深度强化序列到集合模型，通过结合使用最大似然估计（MLE）训练的序列解码器与通过策略梯度优化的集合解码器，减少对标签顺序的依赖，同时捕捉高阶标签相关性。该方法显著降低了错误惩罚，并在无序标签集合上表现出更强的鲁棒性，优于强基线模型。

ABSTRACT

Multi-label text classification (MLTC) aims to assign multiple labels to each sample in the dataset. The labels usually have internal correlations. However, traditional methods tend to ignore the correlations between labels. In order to capture the correlations between labels, the sequence-to-sequence (Seq2Seq) model views the MLTC task as a sequence generation problem, which achieves excellent performance on this task. However, the Seq2Seq model is not suitable for the MLTC task in essence. The reason is that it requires humans to predefine the order of the output labels, while some of the output labels in the MLTC task are essentially an unordered set rather than an ordered sequence. This conflicts with the strict requirement of the Seq2Seq model for the label order. In this paper, we propose a novel sequence-to-set framework utilizing deep reinforcement learning, which not only captures the correlations between labels, but also reduces the dependence on the label order. Extensive experimental results show that our proposed method outperforms the competitive baselines by a large margin.

研究动机与目标

• 解决序列到序列模型在多标签文本分类中因严格要求预定义标签顺序而带来的局限性。
• 降低训练过程中因标签序列顺序错误而导致的‘错误惩罚’风险，即正确标签集合因顺序错误而被惩罚。
• 在保持对标签排列鲁棒性的同时，有效捕捉高阶标签相关性。
• 合理整合人类对标签顺序的先验知识（例如DAG结构），而无需强制执行严格的序列约束。
• 开发一种基于强化学习的框架，针对顺序不变度量进行优化，从而提升泛化能力和鲁棒性。

提出的方法

• 提出双解码器架构：使用最大似然估计（MLE）训练的序列解码器，以融入人类对标签顺序的先验知识。
• 引入通过策略梯度训练的集合解码器，直接优化满足交换不变性的奖励函数。
• 设计基于标准多标签评估指标（如F1、精确率、召回率）的奖励函数，这些指标对标签顺序保持不变。
• 在强化学习组件中采用演员-评论家框架，以稳定训练过程并提高样本效率。
• 利用基于LSTM的序列解码器建模标签之间的依赖关系，从而有效捕捉高阶标签相关性。
• 采用混合目标端到端训练模型：序列解码器使用MLE损失，集合解码器使用策略梯度损失。

实验结果

研究问题

• RQ1 基于强化学习的集合解码器能否降低多标签文本分类中模型对输出标签顺序的依赖？
• RQ2 所提出的序列到集合模型在标签相关性建模和鲁棒性方面，与MLE训练的Seq2Seq及二值相关性基线相比表现如何？
• RQ3 该模型在在多大程度上缓解了由标签序列不一致引起的‘错误惩罚’问题？
• RQ4 整合人类对标签顺序的先验知识（例如通过DAG）是否能在不强制执行严格序列约束的前提下提升性能？
• RQ5 基于策略梯度优化的顺序不变度量能否带来更好的泛化性能和更高的多标签基准F1分数？

主要发现

• 所提方法在标准多标签文本分类基准上显著优于竞争性基线模型，包括MLE训练的Seq2Seq和二值相关性基线。
• 该模型显著减少了‘错误惩罚’问题：正确标签集合不再因错误的输出顺序而被惩罚。
• 通过在顺序不变度量上使用策略梯度训练的集合解码器，模型在不同标签排列下表现出更高的鲁棒性和泛化能力。
• 双解码器结构有效捕捉了高阶标签相关性，这从在具有相关或弱相关标签的困难样本上F1分数的提升中得到验证。
• 实验表明，即使真实标签顺序未知或不存在，该模型仍能保持强劲性能，展现出其通用性。
• 消融研究证实，序列解码器（用于先验知识）和集合解码器（用于顺序不变性）均对最终性能提升有显著贡献。