[论文解读] Query Focused Multi-document Summarisation of Biomedical Texts

Diego Mollá, Christopher Jones+1 more|arXiv (Cornell University)|Aug 27, 2020

Topic Modeling参考文献 12被引用 5

一句话总结

该论文提出了一种基于 BERT 的句子嵌入与 LSTM 编码的查询聚焦多文档生物医学文本抽取式摘要系统，并在 BioASQ8b 挑战赛中进行了评估。最佳性能由 BERT 用于词嵌入、LSTM 用于句子编码的组合实现，优于 BioBERT、孪生网络架构以及强化学习方法。

ABSTRACT

This paper presents the participation of Macquarie University and the Australian National University for Task B Phase B of the 2020 BioASQ Challenge (BioASQ8b). Our overall framework implements Query focused multi-document extractive summarisation by applying either a classification or a regression layer to the candidate sentence embeddings and to the comparison between the question and sentence embeddings. We experiment with variants using BERT and BioBERT, Siamese architectures, and reinforcement learning. We observe the best results when BERT is used to obtain the word embeddings, followed by an LSTM layer to obtain sentence embeddings. Variants using Siamese architectures or BioBERT did not improve the results.

研究动机与目标

• 开发一种基于神经架构的查询聚焦多文档生物医学文本摘要系统。
• 评估 BERT 和 BioBERT 在提升生物医学问答任务摘要性能方面的有效性。
• 探究孪生网络架构或使用 PPO 的强化学习是否能提升抽取式摘要的性能。
• 比较分类与回归设置在多文档摘要中句子打分方面的表现。
• 基于临床或诊断查询，识别用于摘要 PubMed 摘要的最优模型配置。

提出的方法

• 系统使用 BERT 为问题和候选句子生成上下文相关的词嵌入。
• 通过在 BERT 嵌入上应用双向 LSTM 层，生成句子嵌入。
• 通过最终的分类或回归层，基于句子嵌入与问题嵌入的相似性，对每个候选句子进行打分。
• 测试了共享权重的孪生网络架构，其中问题编码器与句子编码器共享参数，并使用 Sentence-BERT 计算句子对之间的相似性。
• 应用使用近端策略优化（PPO）的强化学习，训练策略网络以选择高 ROUGE 句子。
• 通过选择得分最高的 n 个句子生成最终摘要，其中 n 由问题类型决定（例如，摘要类问题为 6 个，事实类问题为 2 个）。

实验结果

研究问题

• RQ1 与 word2vec 相比，使用 BERT 进行词嵌入是否能提升生物医学文本的抽取式摘要性能？
• RQ2 在生物医学文本上微调 BioBERT 是否能带来优于标准 BERT 的摘要结果？
• RQ3 孪生网络架构或 Sentence-BERT 是否能提升查询聚焦摘要中的句子相关性评分？
• RQ4 与监督分类或回归相比，使用 PPO 的强化学习是否能带来更好的摘要性能？
• RQ5 BERT + LSTM 的组合是否在该任务中比其他架构更有效地实现句子表征？

主要发现

• 表现最佳的模型采用 BERT 进行词嵌入，LSTM 进行句子编码，在 NNR 设置（批次 3）下达到 ROUGE-SU4 F1 为 0.3729。
• 使用 BioBERT 并未提升性能，反而导致得分降低（例如，多任务 SBioBERT C 20 个周期下为 0.2527），低于未微调的 BERT 基线。
• 孪生网络架构和基于 SBERT 的模型表现较差或与未微调的 BERT 模型持平，表明问题与句子共享处理方式在风格差异下表现不佳。
• 使用 PPO 的强化学习得到的评估分数最低（例如，批次 4 下为 0.2585），尽管人工评估可能揭示其生成摘要质量更高。
• 多任务学习设置（联合训练分类与回归）优于单任务模型，在批次 3 下达到 ROUGE-SU4 F1 为 0.3506。
• 在大多数运行中，分类设置（NNC）表现最佳，与交叉验证结果一致；尽管在许多情况下，回归设置（NNR）也表现第二佳。