[论文解读] A Hierarchical End-to-End Model for Jointly Improving Text Summarization and Sentiment Classification

Shuming Ma, Xu Sun+2 more|arXiv (Cornell University)|May 3, 2018

Topic Modeling参考文献 10被引用 5

一句话总结

该论文提出了一种分层端到端深度学习模型，通过将情感分类视为生成文本摘要的更高级别'摘要'，联合训练抽取式文本摘要和情感分类。该模型使用多视角注意力机制在任务间共享表示，在无需人工特征的情况下，同时提升了两个任务的性能，尤其在Amazon评论数据集上取得了显著提升。

ABSTRACT

Text summarization and sentiment classification both aim to capture the main ideas of the text but at different levels. Text summarization is to describe the text within a few sentences, while sentiment classification can be regarded as a special type of summarization which "summarizes" the text into a even more abstract fashion, i.e., a sentiment class. Based on this idea, we propose a hierarchical end-to-end model for joint learning of text summarization and sentiment classification, where the sentiment classification label is treated as the further "summarization" of the text summarization output. Hence, the sentiment classification layer is put upon the text summarization layer, and a hierarchical structure is derived. Experimental results on Amazon online reviews datasets show that our model achieves better performance than the strong baseline systems on both abstractive summarization and sentiment classification.

研究动机与目标

• 为解决独立训练文本摘要与情感分类所带来的局限性，后者常因缺乏跨任务监督而导致性能次优。
• 将情感分类统一为更高层级的摘要任务，将情感标签视为摘要的压缩形式。
• 通过共享的分层表示提升摘要与情感分类性能，增强内容连贯性与相关性。
• 通过设计端到端可训练的联合学习框架，消除对人工特征的依赖。
• 证明摘要与情感分类之间的相互监督可提升两个任务的性能。

提出的方法

• 模型采用分层架构，先进行文本摘要生成，再基于生成的摘要进行情感分类。
• 引入多视角注意力机制，从共享的编码器输出中生成摘要与情感分类任务的独立上下文表示。
• 编码器使用双向LSTM处理输入文本，生成上下文相关的词表示。
• 解码器通过注意力机制自回归地生成摘要，采用指针-生成机制处理OOV词。
• 情感分类器对解码器最终隐藏状态进行最大池化，再通过多层感知机输出情感预测。
• 整体损失函数结合了摘要与情感分类的交叉熵损失，实现联合优化。

实验结果

研究问题

• RQ1 将情感分类视为更高层级的摘要任务，是否能提升文本摘要与情感分类的性能？
• RQ2 与独立训练相比，使用共享表示的分层联合学习对模型性能有何影响？
• RQ3 在无需人工特征的情况下，多视角注意力在双任务表示学习中的提升程度如何？
• RQ4 摘要组件是否能从情感监督中获益，反之亦然？
• RQ5 端到端模型是否能超越独立训练两个任务的强基线模型？

主要发现

• 所提模型在Amazon在线评论数据集上的抽取式文本摘要与情感分类任务中均达到当前最优性能。
• 该模型优于独立训练摘要与情感分类的强基线系统，证明了联合学习的优势。
• 分层结构使情感分类器能基于更简洁且信息量更高的摘要进行预测，从而提升分类准确率。
• 摘要组件从情感监督中获益，生成更具连贯性与情感感知能力的摘要，更准确反映原文情感。
• 多视角注意力使模型能够学习到既独立又互补的摘要与情感分类表示，从而提升整体性能。
• 该模型在不依赖任何人工特征的情况下实现显著性能提升，验证了端到端联合学习框架的有效性。