[论文解读] Amharic Abstractive Text Summarization

Amr M. Zaki, Mahmoud I. Khalil+1 more|arXiv (Cornell University)|Mar 30, 2020

Topic Modeling参考文献 15被引用 6

一句话总结

本论文提出了一种基于课程采样（scheduled sampling）的抽象式文本摘要模型，用于阿姆哈拉语（Amharic）这一低资源非洲语言。该研究基于自建的19,000篇新闻文章数据集和自训练的词嵌入模型，实现了ROUGE-1 F1为20.51、BLEU为0.3311的性能，证明了在极少外部资源条件下，将先进的深度学习技术应用于低资源非洲语言的可行性。

ABSTRACT

Text Summarization is the task of condensing long text into just a handful of sentences. Many approaches have been proposed for this task, some of the very first were building statistical models (Extractive Methods) capable of selecting important words and copying them to the output, however these models lacked the ability to paraphrase sentences, as they simply select important words without actually understanding their contexts nor understanding their meaning, here comes the use of Deep Learning based architectures (Abstractive Methods), which effectively tries to understand the meaning of sentences to build meaningful summaries. In this work we discuss one of these new novel approaches which combines curriculum learning with Deep Learning, this model is called Scheduled Sampling. We apply this work to one of the most widely spoken African languages which is the Amharic Language, as we try to enrich the African NLP community with top-notch Deep Learning architectures.

研究动机与目标

• 为解决低资源非洲语言（尤其是阿姆哈拉语）缺乏抽象式摘要模型的问题。
• 构建一个包含19,000篇阿姆哈拉语文本及其对应摘要的定制数据集，因为此前尚无此类数据集存在。
• 训练一个针对阿姆哈拉语的领域特定词嵌入模型，以支持基于深度学习的文本摘要任务。
• 应用课程采样技术，减轻序列到序列模型在抽象式摘要任务中的暴露偏差（exposure bias）。
• 使用标准自然语言处理指标（ROUGE、BLEU）对模型进行评估，并为未来阿姆哈拉语自然语言处理研究建立基准。

提出的方法

• 通过从7个阿姆哈拉语新闻网站抓取50,000篇文章，构建自定义数据集，仅保留标题较长的文章（共19,000篇）。
• 使用跳字模型（skip-gram）架构训练阿姆哈拉语的自定义词嵌入模型，因为该语言此前无预训练词向量。
• 实现一个基于LSTM和注意力机制的序列到序列模型，以捕捉输入文本中的长距离依赖关系。
• 通过引入指针-生成器网络增强模型，使模型能够从输入中复制OOV（词汇表外）词汇。
• 应用课程采样策略，在训练过程中逐步用模型生成的输出替代真实目标，以减少暴露偏差。
• 采用课程学习策略进行微调，从完全依赖参考摘要的监督训练开始，逐步增加对模型生成输出的依赖。

实验结果

研究问题

• RQ1 课程采样能否提升低资源语言（如阿姆哈拉语）在抽象式摘要任务中的性能？
• RQ2 自训练的词嵌入模型在低资源自然语言处理任务中是否有效？
• RQ3 在低资源环境下，暴露偏差对抽象式摘要模型的影响程度如何？
• RQ4 在训练数据有限的情况下，带有注意力机制和指针-生成器结构的序列到序列模型能否在阿姆哈拉语上实现良好泛化？
• RQ5 在此背景下，标准评估指标（ROUGE、BLEU）在阿姆哈拉语与英语等高资源语言之间有何差异？

主要发现

• 所提出的模型在100个句子的测试集上取得了ROUGE-1 F1为20.51、BLEU为0.3311的性能，为阿姆哈拉语抽象式摘要任务建立了基线水平。
• 该模型与英语模型（如CNN/DailyMail数据集上ROUGE-1为39.53）之间的性能差距，主要源于训练数据规模较小（19k vs. 200k篇文章）。
• 自定义词嵌入模型成功实现了阿姆哈拉语的深度学习摘要任务，而此前该语言尚无此类词向量。
• 课程采样有效缓解了暴露偏差，提升了模型在推理阶段自主生成摘要的能力。
• 公开发布数据集与词嵌入模型，为未来非洲自然语言处理及低资源语言建模研究奠定了基础。
• 结果表明，尽管数据稀缺，但使用预训练BERT模型进行跨语言迁移学习，有望显著提升阿姆哈拉语的性能。