[论文解读] A Pilot Study of Domain Adaptation Effect for Neural Abstractive Summarization

Xinyu Hua, Lu Wang|arXiv (Cornell University)|Jul 21, 2017

Topic Modeling参考文献 20被引用 5

一句话总结

本文研究神经端到端摘要中的领域自适应问题，表明在域外抽取式摘要上进行预训练可提升性能，并实现关键内容识别能力的迁移。当目标领域数据稀缺时，结合使用域内与域外数据生成的摘要优于仅使用域内数据训练的模型，表明模型能跨领域学习内容选择，但需依赖域内数据以捕捉领域特异的写作风格。

ABSTRACT

We study the problem of domain adaptation for neural abstractive summarization. We make initial efforts in investigating what information can be transferred to a new domain. Experimental results on news stories and opinion articles indicate that neural summarization model benefits from pre-training based on extractive summaries. We also find that the combination of in-domain and out-of-domain setup yields better summaries when in-domain data is insufficient. Further analysis shows that, the model is capable to select salient content even trained on out-of-domain data, but requires in-domain data to capture the style for a target domain.

研究动机与目标

• 探究在低资源目标领域中，域外数据是否能提升端到端摘要性能。
• 确定在领域之间可迁移的信息——内容选择还是写作风格。
• 评估在抽取式摘要上进行预训练对领域自适应的有效性。
• 分析注意力机制，以理解关键内容识别的可迁移性。

提出的方法

• 在来自《纽约时报》的100万组文章-抽取式摘要对上，使用指针-生成注意力机制对序列到序列模型进行预训练。
• 在域内意见类文章上微调预训练模型，以实现端到端摘要。
• 分别在新闻（源领域）和意见（目标领域）上训练独立模型，以比较性能与注意力模式。
• 使用ROUGE和BLEU分数评估摘要质量。
• 分析注意力权重，识别摘要生成过程中最被关注的输入词。
• 根据命名实体类型、词性标注和主观性对被关注的词进行分类，以评估内容选择的可迁移性。

实验结果

研究问题

• RQ1 在域外抽取式摘要上进行预训练，是否能提升在新领域中的端到端摘要性能？
• RQ2 在摘要中——内容选择还是语言风格——哪些方面可在领域之间实现迁移？
• RQ3 当域内数据有限时，结合使用域内与域外数据对性能有何影响？
• RQ4 在域外数据上训练的模型是否仍能识别目标领域中的关键内容？
• RQ5 域内数据在捕捉领域特异写作风格方面发挥何种作用？

主要发现

• 在抽取式摘要上进行预训练，显著提升了新闻与意见类文章摘要的ROUGE与BLEU分数。
• 在域外数据（新闻）上训练的模型，仍会关注目标领域（意见）中的摘要关键内容，表明其具备内容选择能力的迁移。
• 当域内数据有限时，结合使用域内与域外数据的模型，其ROUGE分数优于仅使用域内数据训练的模型。
• 在域外数据上训练的模型无法生成输入中未出现的新词，而人类编辑在意见摘要中常使用新颖词汇。
• 注意力分析显示，混合领域模型更关注命名实体与名词，而减少对动词与主观性词语的关注，其注意力模式更符合目标领域特征。
• 域内训练对捕捉领域特异写作风格至关重要，证据是仅在域外数据上训练的模型无法生成输入中未见的新词。