[论文解读] Autoencoder as Assistant Supervisor: Improving Text Representation for Chinese Social Media Text Summarization

Shuming Ma, Xu Sun+2 more|arXiv (Cornell University)|May 13, 2018

Topic Modeling参考文献 26被引用 9

一句话总结

本文提出 SuperAE，一种新颖的框架，利用摘要自编码器作为辅助监督器，以改进序列到序列模型在中文社交媒体文本摘要生成中的文本表征。通过最小化源文本隐藏表征与摘要表征之间的距离，并结合对抗性学习，该模型实现了最先进性能，在基准数据集上相比基线 Seq2Seq 模型在 ROUGE-1、ROUGE-2 和 ROUGE-L 上分别提升 7.1、6.1 和 7.0 分。

ABSTRACT

Most of the current abstractive text summarization models are based on the sequence-to-sequence model (Seq2Seq). The source content of social media is long and noisy, so it is difficult for Seq2Seq to learn an accurate semantic representation. Compared with the source content, the annotated summary is short and well written. Moreover, it shares the same meaning as the source content. In this work, we supervise the learning of the representation of the source content with that of the summary. In implementation, we regard a summary autoencoder as an assistant supervisor of Seq2Seq. Following previous work, we evaluate our model on a popular Chinese social media dataset. Experimental results show that our model achieves the state-of-the-art performances on the benchmark dataset.

研究动机与目标

• 为解决在摘要生成任务中，从长篇、嘈杂的中文社交媒体文本中学习准确语义表征的挑战。
• 通过利用更连贯、简洁的摘要作为监督信号，提升序列到序列模型内部表征的质量。
• 利用对抗性学习，根据源文本与摘要之间的语义相关性，动态调整监督强度。
• 在中文社交媒体文本摘要基准数据集上实现最先进性能。

提出的方法

• 训练一个摘要自编码器，使用双向 LSTM 编码器和解码器，学习参考摘要的高质量表征。
• 通过最小化源文本隐藏表征与摘要表征之间的 L2 距离，对 Seq2Seq 模型进行监督。
• 引入一个判别器网络，用于区分源文本表征（伪造）与摘要表征（真实），从而实现监督强度的动态调整。
• 利用对抗性训练，使 Seq2Seq 模型的内部表征更接近自编码器的表征，提升语义对齐效果。
• 将监督损失与标准 Seq2Seq 损失相结合，并通过反向传播进行端到端优化。
• 在推理阶段仅使用 Seq2Seq 解码器，从源文本生成摘要。

实验结果

研究问题

• RQ1 摘要自编码器能否作为有效的辅助监督器，以改善序列到序列模型在摘要生成中的内部表征？
• RQ2 将源文本表征与摘要表征对齐，是否能提升在嘈杂、长篇社交媒体文本上的摘要性能？
• RQ3 对抗性学习能否根据源文本与摘要之间的语义相关性，动态调整监督强度？
• RQ4 所提出的方法是否在中文社交媒体文本摘要基准上实现了最先进性能？

主要发现

• 所提出的 SuperAE 模型在基准中文社交媒体文本摘要数据集上实现了最先进性能，相比基线 Seq2Seq 模型在 ROUGE-1、ROUGE-2 和 ROUGE-L 上分别提升 7.1、6.1 和 7.0 分。
• 模型显著提升了文本表征质量，体现在 Amazon Fine Foods Reviews Corpus 上，二分类情感分类准确率提升 8.1%，五分类情感分类准确率提升 6.6%。
• 对抗性学习通过根据语义相关性自适应调整对齐强度，增强了对低相关性源-摘要对的鲁棒性。
• 消融实验表明，自编码器监督与对抗性学习两个组件均对最终性能有积极贡献。
• 定性分析显示，SuperAE 生成的摘要比基线 Seq2Seq 更准确、更连贯，后者常产生幻觉或无关内容。