[论文解读] Automatic Text Summarization of COVID-19 Medical Research Articles using BERT and GPT-2
该论文通过将关键字集合映射到摘要来微调 DistilGPT-2，用于 COVID-19 论文的抽象摘要生成，使用多任务损失和 ROUGE 评估。它将抽取式摘要与 CORD-19 数据上的抽象摘要进行比较。
With the COVID-19 pandemic, there is a growing urgency for medical community to keep up with the accelerating growth in the new coronavirus-related literature. As a result, the COVID-19 Open Research Dataset Challenge has released a corpus of scholarly articles and is calling for machine learning approaches to help bridging the gap between the researchers and the rapidly growing publications. Here, we take advantage of the recent advances in pre-trained NLP models, BERT and OpenAI GPT-2, to solve this challenge by performing text summarization on this dataset. We evaluate the results using ROUGE scores and visual inspection. Our model provides abstractive and comprehensive information based on keywords extracted from the original articles. Our work can help the the medical community, by providing succinct summaries of articles for which the abstract are not already available.
研究动机与目标
- 应对 COVID-19 文献的快速增长，并为缺乏摘要的文章提供简明摘要。
- 利用预训练的 NLP 模型（BERT 用于抽取，GPT-2 用于生成）以生成抽象摘要。
- 开发基于关键字到摘要的微调方法，使用多任务损失。
- 使用 ROUGE 和定性检查，将抽象摘要与金标准摘要进行比较评估。
提出的方法
- 使用 DistilBERT 进行无监督的抽取式句嵌入，并使用 K-medoids 聚类作为抽取式摘要的基线。
- 对 DistilGPT-2 进行微调，以从由名词和动词派生的关键字输入生成抽象摘要。
- 使用将语言模型损失与多项选择损失相结合的多任务损失进行训练，使用特殊的 <|summarize|> 令牌将关键字与摘要分隔开。
- 通过将关键字与金标准摘要和干扰摘要配对，创建用于四选一多项选择设置的训练样本。
- 在生成时整合 Top-p 采样和温度缩放，并使用 ROUGE 分数进行评估。
实验结果
研究问题
- RQ1对预训练的 GPT-2 模型进行关键词到摘要的微调，是否能够生成与 COVID-19 文献相关且连贯的抽象摘要？
- RQ2关键字类型（名词、动词，或两者）对抽象摘要质量的影响是什么？
- RQ3DistilGPT-2 生成的抽象摘要在 ROUGE 分数上与抽取基线相比如何？
- RQ4更长的微调是否能够改善输入关键字与生成摘要之间的一致性？
主要发现
- 60% 压缩的抽取式摘要在 ROUGE 分数上高于 40% 压缩的摘要，并在 ROUGE 上优于抽象结果。
- 抽象式 GPT-2 摘要在更多训练轮次和更多关键字时有所提升，但与抽取基线相比，ROUGE 增益可能有限。
- 使用名词作为关键字（有或没有动词）通常比仅使用动词能提升 ROUGE 分数。
- Top-p 采样在可读性和抽象质量上优于贪婪解码，ROUGE 分数相近。
- 注意力可视化显示微调在后期层次增强了关键字–摘要之间的关系。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。