[论文解读] Generating News Headlines with Recurrent Neural Networks

Konstantin Lopyrev|arXiv (Cornell University)|Dec 5, 2015

Topic Modeling参考文献 12被引用 107

一句话总结

本文提出一种基于注意力机制的编码器-解码器LSTM网络，用于从文章文本生成新闻标题。该方法引入了一种简化的注意力机制，其性能优于复杂变体，并支持分析神经元如何在生成标题过程中检测语言结构（如主语、动词和命名实体）。

ABSTRACT

We describe an application of an encoder-decoder recurrent neural network with LSTM units and attention to generating headlines from the text of news articles. We find that the model is quite effective at concisely paraphrasing news articles. Furthermore, we study how the neural network decides which input words to pay attention to, and specifically we identify the function of the different neurons in a simplified attention mechanism. Interestingly, our simplified attention mechanism performs better that the more complex attention mechanism on a held out set of articles.

研究动机与目标

• 开发一种神经标题生成模型，利用序列到序列学习有效总结新闻文章。
• 研究注意力机制如何引导模型在生成标题时选择相关输入词。
• 简化注意力机制以提升可解释性，并在保留数据上实现性能提升。
• 分析注意力机制中单个神经元的功能角色及其对语言结构检测的贡献。

提出的方法

• 使用堆叠LSTM层（4层，每层600个单元）的编码器-解码器架构处理输入文章并生成标题。
• 训练过程中采用教师强制策略，并以10%的概率随机采样生成的词，以减少训练与测试之间的差异。
• 评估时采用束搜索解码，束宽为2，以提升输出质量。
• 实现两种注意力机制：一种为复杂的点积注意力，另一种为简化版本，其将隐藏状态拆分用于计算注意力权重和上下文向量。
• 使用RMSProp优化算法，学习率呈衰减趋势，并基于训练数据频率初始化Softmax偏置。
• 通过填充和掩码逻辑固定序列长度限制，以处理可变长度的输入和输出。

实验结果

研究问题

• RQ1 在标题生成任务中，简化注意力机制与更复杂的注意力机制相比，性能表现如何？
• RQ2 模型的注意力机制能够检测哪些语言现象？单个神经元在这些检测中起到何种作用？
• RQ3 解码束的数量如何影响模型产生幻觉或无关内容的倾向？
• RQ4 模型能否仅基于文章前50个词，学习生成语法正确且事实简洁的标题？
• RQ5 注意力机制中的特定神经元在识别句法结构（如主语、宾语和命名实体）方面发挥什么作用？

主要发现

• 简化注意力机制在保留测试集上的表现优于复杂注意力机制，表明泛化能力得到提升。
• 通过神经元激活模式，模型成功学习到对动词、主语、宾语、命名实体和介词等语言结构的检测。
• 解码层中的神经元会在不同时间点被激活，以分别针对特定语言现象，如主谓关系和名词短语边界。
• 当使用较少的解码束时，模型倾向于产生幻觉细节（如添加“in Russia”），表明其对束数敏感。
• 高频但无关的短语（如“urgent”、“bc-times”）在使用更多束时更可能被生成，表明训练数据中存在分布偏差。
• 尽管在Gigaword文章上表现强劲，该模型在一般文本上表现欠佳，表明文章结构对性能有显著影响。