[论文解读] A Hierarchical Neural Autoencoder for Paragraphs and Documents

Jiwei Li, Minh-Thang Luong+1 more|arXiv (Cornell University)|Jun 2, 2015

Topic Modeling参考文献 29被引用 207

一句话总结

本文提出了一种分层LSTM自编码器，通过建模词到句和句到段落的关系来编码段落，从而实现连贯、语法正确的多句文本重建。该模型在标准序列到序列LSTM之上表现更优，保持了句子顺序（在酒店评论中L = 1.57，在维基百科中L = 2.04），并取得了优异的ROUGE和实体网格（Entity Grid）得分，证明了神经模型在编码语篇连贯性方面的潜力。

ABSTRACT

Natural language generation of coherent long texts like paragraphs or longer documents is a challenging problem for recurrent networks models. In this paper, we explore an important step toward this generation task: training an LSTM (Long-short term memory) auto-encoder to preserve and reconstruct multi-sentence paragraphs. We introduce an LSTM model that hierarchically builds an embedding for a paragraph from embeddings for sentences and words, then decodes this embedding to reconstruct the original paragraph. We evaluate the reconstructed paragraph using standard metrics like ROUGE and Entity Grid, showing that neural models are able to encode texts in a way that preserve syntactic, semantic, and discourse coherence. While only a first step toward generating coherent text units from neural models, our work has the potential to significantly impact natural language generation and summarization\footnote{Code for the three models described in this paper can be found at www.stanford.edu/~jiweil/ .

研究动机与目标

• 探究神经序列模型是否能够在长文本生成中保持句法、语义和语篇连贯性。
• 解决使用循环神经网络生成连贯段落和文档的挑战。
• 探索分层组合性在LSTM中是否能比平坦的序列到序列模型更好地编码多句文本结构。
• 评估自编码长文本是否可作为更复杂生成任务（如摘要或对话）的基础。

提出的方法

• 该模型采用两级分层LSTM：词级LSTM将单个词编码为句子嵌入，句级LSTM将句子编码为段落级表示。
• 编码器通过在词级和句级堆叠LSTM，将输入段落压缩为固定大小的向量表示。
• 解码器通过自回归方式利用段落级嵌入生成词语和句子，重建原始段落。
• 在句级应用注意力机制，以改善生成句与输入句之间的对齐。
• 模型使用交叉熵损失端到端训练，以最小化重建误差。
• 提出一种新型连贯性度量L，通过测量输入与输出中句子相对位置的平均偏移，评估句子顺序的保持程度。

实验结果

研究问题

• RQ1 分层LSTM自编码器能否在保留句法、语义和语篇连贯性的情况下重建多句段落？
• RQ2 与平坦的序列到序列模型相比，建模分层结构（词→句→段落）在文本重建方面有何改进？
• RQ3 神经模型在多大程度上能够编码语篇层面的关系，如句子顺序和连贯性？
• RQ4 句级注意力是否能提升重建质量与连贯性保持？
• RQ5 该自编码器框架能否扩展到更复杂的生成任务，如摘要或问答？

主要发现

• 分层LSTM模型在酒店评论数据集上取得了0.355的ROUGE-L F1得分，在维基百科数据集上为0.220，优于标准序列到序列模型。
• 模型有效保持了句子顺序，酒店评论中连贯性得分L为1.57，维基百科中为2.04，表明句子位置的置换极少。
• 引入句级注意力后性能得到提升，维基百科中L降低至2.04，ROUGE-F1提升至0.291。
• 实体网格得分显示模型保持了语义一致性，维基百科上F1为0.529，加入注意力后提升至0.544。
• 分层模型在ROUGE和连贯性度量上显著优于标准序列到序列模型，证明了结构归纳偏置的优势。
• 结果表明神经模型能够编码复杂的语篇结构，为未来在抽象摘要和对话生成方面的研究提供了支持。