[论文解读] Adapting RNN Sequence Prediction Model to Multi-label Set Prediction

Kechen Qin, Cheng Li+2 more|arXiv (Cornell University)|Apr 11, 2019

Text and Document Classification Technologies参考文献 23被引用 15

一句话总结

本文通过将集合概率重新定义为所有标签序列排列概率之和，提出了一种针对多标签文本分类的RNN序列模型的合理改进方法。该方法引入了一种新的训练目标，以最大化该集合概率，并设计了一种预测目标，用于寻找最可能的标签集合，从而使RNN能够自动发现最优的标签顺序，进而在RCV1、AAPD、Slashdot和TheGuardian等基准数据集上超越当前最先进方法。

ABSTRACT

We present an adaptation of RNN sequence models to the problem of multi-label classification for text, where the target is a set of labels, not a sequence. Previous such RNN models define probabilities for sequences but not for sets; attempts to obtain a set probability are after-thoughts of the network design, including pre-specifying the label order, or relating the sequence probability to the set probability in ad hoc ways. Our formulation is derived from a principled notion of set probability, as the sum of probabilities of corresponding permutation sequences for the set. We provide a new training objective that maximizes this set probability, and a new prediction objective that finds the most probable set on a test document. These new objectives are theoretically appealing because they give the RNN model freedom to discover the best label order, which often is the natural one (but different among documents). We develop efficient procedures to tackle the computation difficulties involved in training and prediction. Experiments on benchmark datasets demonstrate that we outperform state-of-the-art methods for this task.

研究动机与目标

• 为解决现有RNN模型在多标签文本分类中的局限性，即依赖于任意或固定的标签排序，导致性能次优。
• 提出一种理论严谨的集合概率公式化方法，将标签集合的所有排列均视为对整体概率的贡献。
• 设计一种新的训练目标，以最大化集合概率，使RNN能够在无需预先指定的情况下学习最具信息量的标签顺序。
• 引入一种预测目标，用于识别最可能的集合，而非最可能的序列，从而更好地匹配真实的多标签分类任务。
• 通过高效的近似方法实现训练与推理的可扩展性，实现在基准数据集上的优越性能。

提出的方法

• 集合概率被正式定义为给定标签集合所有排列的概率之和，该定义源自RNN的序列概率分布。
• 提出一种新的训练目标，以最大化期望集合概率，并采用可微分近似方法处理排列组合爆炸问题。
• 设计了一种高效的束搜索算法用于预测，该算法探索多种标签序列，并选择在所有其排列中总概率最高的集合。
• 模型在每个时间步使用注意力机制动态加权输入特征，以提升相关性与表征学习能力。
• 通过允许RNN在训练过程中通过新目标自动学习最优序列顺序，避免了预先指定标签顺序。
• 采用近似推理技术，使即使在大规模标签集合下，训练与预测仍保持可计算性。

实验结果

研究问题

• RQ1 是否可以通过一种合理的集合概率公式化方法，使多标签分类性能超越临时的序列到集合映射？
• RQ2 是否允许RNN在训练过程中自主发现最优标签顺序，能带来优于固定或启发式标签排序的性能提升？
• RQ3 与PCC和seq2seq-RNN等最先进模型相比，该方法在不同数据集上的准确率与鲁棒性表现如何？
• RQ4 与仅依赖单一最优序列的模型相比，该模型通过聚合所有排列的概率，能在多大程度上提升预测质量？
• RQ5 标签基数与标签频率分布如何影响基于集合的优化目标所带来的性能增益？

主要发现

• 所提出的set-RNN方法在四个基准数据集（RCV1、AAPD、Slashdot和TheGuardian）上均优于当前最先进模型。
• 在RCV1-v2数据集上，set-RNN的F1-macro得分高于PCC与seq2seq-RNN，且在集合级别预测准确率上实现显著提升。
• 在标签基数较高的数据集（如Slashdot与TheGuardian）上，set-level优化带来的收益更为显著，因这些数据集的排列数极大。
• 案例研究显示，正确标签集合在所有排列上的总概率可能高于最可能的单一序列，验证了方法设计的有效性。
• set-RNN中的注意力机制有助于模型聚焦于相关标签与特征，从而提升泛化能力与鲁棒性。
• 与seq2seq-RNN相比，set-RNN的序列概率分布熵更低，表明其预测更具置信度与一致性。