[论文解读] Clustering of Deep Contextualized Representations for Summarization of Biomedical Texts

Milad Moradi, Matthias Samwald|arXiv (Cornell University)|Aug 6, 2019

Topic Modeling被引用 5

一句话总结

本文提出了一种基于 BERT 的摘要模型，利用深度上下文表征对生物医学文本进行句子聚类与排序，实现无需外部领域知识的生物医学文本摘要。通过测量 BERT 嵌入表示中的句子相似性与信息含量，该方法在基线方法之上实现了更优的摘要性能，表明仅靠上下文表征即可有效捕捉生物医学语境。

ABSTRACT

In recent years, summarizers that incorporate domain knowledge into the process of text summarization have outperformed generic methods, especially for summarization of biomedical texts. However, construction and maintenance of domain knowledge bases are resource-intense tasks requiring significant manual annotation. In this paper, we demonstrate that contextualized representations extracted from the pre-trained deep language model BERT, can be effectively used to measure the similarity between sentences and to quantify the informative content. The results show that our BERT-based summarizer can improve the performance of biomedical summarization. Although the summarizer does not use any sources of domain knowledge, it can capture the context of sentences more accurately than the comparison methods. The source code and data are available at https://github.com/BioTextSumm/BERT-based-Summ.

研究动机与目标

• 开发一种低资源、领域无关的生物医学文本摘要方法，避免昂贵的手动知识库构建。
• 探究预训练 BERT 表征是否能有效捕捉生物医学语境中句子的相似性与信息量。
• 评估基于 BERT 的聚类方法与现有通用及领域特定摘要方法的性能表现。
• 证明仅使用上下文表征即可实现具有竞争力的摘要结果，而无需显式领域知识。

提出的方法

• 利用预训练 BERT 模型生成的上下文表征来表示生物医学领域中的句子。
• 对 BERT 嵌入表示应用聚类技术，以分组语义相似的句子并识别代表性内容。
• 基于句子在聚类内的中心性及其从嵌入表示中推断出的信息量对句子进行排序。
• 采用句子选择策略，优先选取来自聚类表示的高影响力且多样化的句子。
• 在标准生物医学摘要基准上端到端训练并评估模型，无需在领域特定数据上进行微调。
• 完全依赖 BERT 嵌入的语义丰富性来推断句子的相关性与冗余性。

实验结果

研究问题

• RQ1 在不依赖额外领域知识的前提下，基于 BERT 的上下文表征能否有效衡量生物医学文本中的句子相似性？
• RQ2 对 BERT 嵌入进行聚类在多大程度上能提升生物医学文档自动摘要的质量？
• RQ3 与依赖外部领域知识库的方法相比，仅使用 BERT 的摘要模型在摘要性能上表现如何？
• RQ4 能否通过基于嵌入的聚类来量化信息含量，而无需显式特征工程？

主要发现

• 基于 BERT 的摘要模型在生物医学文本摘要的自动评估指标上优于通用基线方法。
• 尽管未使用任何手动构建的领域知识或外部资源，该模型仍实现了具有竞争力的性能。
• 对上下文表征进行聚类能有效识别关键且非冗余的句子，从而提升摘要的连贯性与覆盖度。
• 与对比方法相比，该方法更准确地捕捉了生物医学语言中的上下文细微差别，表现为 ROUGE 分数的提升。