[论文解读] Leap-LSTM: Enhancing Long Short-Term Memory for Text Categorization

Ting Huang, Gehui Shen+1 more|arXiv (Cornell University)|May 28, 2019

Topic Modeling参考文献 19被引用 5

一句话总结

Leap-LSTM 通过在推理过程中动态、上下文感知地跳过无关词汇，提升了文本分类任务的效率与准确性。通过融合前序、当前和后续词汇的特征，模型能够做出更明智的跳过决策，实现比标准 LSTM 及先前的跳过 RNN 模型更快的推理速度和更优的性能表现，且可通过训练过程中的惩罚项实现对跳过率的可控调节。

ABSTRACT

Recurrent Neural Networks (RNNs) are widely used in the field of natural language processing (NLP), ranging from text categorization to question answering and machine translation. However, RNNs generally read the whole text from beginning to end or vice versa sometimes, which makes it inefficient to process long texts. When reading a long document for a categorization task, such as topic categorization, large quantities of words are irrelevant and can be skipped. To this end, we propose Leap-LSTM, an LSTM-enhanced model which dynamically leaps between words while reading texts. At each step, we utilize several feature encoders to extract messages from preceding texts, following texts and the current word, and then determine whether to skip the current word. We evaluate Leap-LSTM on several text categorization tasks: sentiment analysis, news categorization, ontology classification and topic classification, with five benchmark data sets. The experimental results show that our model reads faster and predicts better than standard LSTM. Compared to previous models which can also skip words, our model achieves better trade-offs between performance and efficiency.

研究动机与目标

• 为解决标准 RNN 在处理长文本时效率低下的问题，通过在推理过程中动态跳过无关词汇来提升效率。
• 通过融合前序、当前和后续词汇的上下文信息，指导跳过决策，以提升文本分类性能。
• 与现有跳过 RNN 模型相比，实现推理速度与预测准确率之间更优的权衡。
• 探究超越单纯词汇跳过之外的性能提升原因，包括训练动态机制。

提出的方法

• Leap-LSTM 引入一种新型决策机制，在每个时间步评估前序文本、当前词以及后续文本的特征，以判断是否跳过当前词。
• 采用多种特征编码器（CNN 和 RNN）从三个上下文源（过去、当前、未来词汇）提取表征。
• 可学习的跳过门控使用融合后的特征计算跳过概率，实现动态且上下文敏感的跳过行为。
• 通过在跳过率上施加直接的惩罚项进行模型训练，从而在推理过程中精确控制跳过的词汇比例。
• 提出一种新颖的调度训练方案，以探究训练期间动态数据采样对性能提升的贡献。
• 将该架构集成到标准 LSTM 中，保留其长期依赖学习能力的同时提升效率。

实验结果

研究问题

• RQ1 利用前序、当前和后续词汇信息的模型，是否能比仅依赖过去上下文的模型做出更准确的跳过决策？
• RQ2 通过在训练过程中引入惩罚项控制跳过率，是否能实现稳定且可预测的速度提升，而不会导致性能下降？
• RQ3 动态训练采样（调度训练）对性能提升的贡献，是否超越了单纯词汇跳过本身？
• RQ4 模型的跳过行为与文档主题的语义相关性之间是否存在显著关联？

主要发现

• Leap-LSTM 通过动态跳过不重要的词汇，在保持或提升预测准确率的同时，实现了比标准 LSTM 和先前跳过 RNN 模型更快的推理速度。
• 在五个基准数据集上，Leap-LSTM 在准确率和推理速度方面均优于标准 LSTM 和先前的跳过模型，实现了效率与性能之间更优的权衡。
• 模型在跳过行为上表现出高度选择性：在 DBPedia 类别中，前 5 名保留率词汇具有高度信息量（如 'fc'、'Olympics'、'film'），部分词汇的保留率达 100%，表明其具备强大的相关性检测能力。
• 案例研究显示，Leap-LSTM 能有效保留关键主题相关术语（如 'treasury prices'、'Olympic men’s basketball'），同时比 Skip LSTM 或 Skim-LSTM 更好地跳过停用词和介词。
• 调度训练方案使测试准确率接近完整模型，表明训练期间的动态数据采样对性能提升具有显著贡献。
• 模型能够考虑未来上下文，其跳过决策准确性优于仅依赖过去隐藏状态的模型，从而减少了高风险跳过行为。