[论文解读] Biomedical text summarization using Conditional Generative Adversarial Network(CGAN)

Seyed Vahid Moravvej, Abdolreza Mirzaei+1 more|arXiv (Cornell University)|Sep 17, 2021

Topic Modeling被引用 24

一句话总结

该论文提出了一种新型的监督式生物医学文本摘要方法，采用基于卷积神经网络的条件生成对抗网络（CGAN）。该方法引入了一种新的句子选择策略、一种生物医学词嵌入模型以及一种定制的判别器损失函数，在医学数据集上，ROUGE指标的平均性能相比竞争模型提升了5%。

ABSTRACT

Text summarization in medicine can help doctors for reducing the time to access important information from countless documents. The paper offers a supervised extractive summarization method based on conditional generative adversarial networks using convolutional neural networks. Unlike previous models, which often use greedy methods to select sentences, we use a new approach for selecting sentences. Moreover, we provide a network for biomedical word embedding, which improves summarization. An essential contribution of the paper is introducing a new loss function for the discriminator, making the discriminator perform better. The proposed model achieves results comparable to the state-of-the-art approaches, as determined by the ROUGE metric. Experiments on the medical dataset show that the proposed method works on average 5% better than the competing models and is more similar to the reference summaries.

研究动机与目标

• 为解决从大量生物医学文献中高效提取关键信息以支持临床决策的挑战。
• 克服现有抽取式摘要模型中贪婪句子选择策略的局限性。
• 通过专为生物医学文本设计的新型条件生成对抗网络架构，提升摘要性能。
• 开发一种领域特定的生物医学词嵌入模型，以增强表征学习能力。
• 设计一种新型判别器损失函数，以强化对抗训练并提升摘要质量。

提出的方法

• 该模型采用条件生成对抗网络（CGAN）框架，其中生成器基于条件上下文学习从生物医学文档中选择关键句子。
• 使用卷积神经网络（CNN）对句子表征进行编码，并从输入文本中提取局部特征。
• 提出一种新型句子选择机制，取代贪婪选择策略，通过利用生成器输出的概率分布来优先选择高相关性句子。
• 为判别器引入一种定制损失函数，以更好地区分真实摘要与生成摘要，从而提升训练稳定性和生成质量。
• 在医学语料库上训练一种生物医学专用的词嵌入模型，以改善医学术语的语义表征。
• 通过对抗学习联合训练生成器与判别器，其中生成器通过基于ROUGE的奖励进行优化，以使生成摘要与参考输出对齐。

实验结果

研究问题

• RQ1 条件生成对抗网络框架是否能在抽取式生物医学文本摘要任务中超越传统抽取式模型？
• RQ2 非贪婪的、基于GAN的句子选择策略在摘要质量上是否优于贪婪选择策略？
• RQ3 领域特定的生物医学词嵌入在多大程度上能提升摘要性能？
• RQ4 重新设计的判别器损失函数是否能提升判别器性能并生成更高质量的摘要？
• RQ5 所提出的模型在标准ROUGE指标下与最先进方法相比表现如何？

主要发现

• 所提模型在生物医学数据集上相比竞争模型，ROUGE得分平均提升5%。
• ROUGE评估结果证实，该模型生成的摘要与人类参考摘要更为相似。
• 定制的判别器损失函数增强了判别器区分真实摘要与生成摘要的能力，从而实现更有效的对抗训练。
• 生物医学词嵌入模型有助于提升医学术语的语义表征，从而提高摘要的相关性。
• 非贪婪句子选择策略通过捕捉更连贯且信息量更高的句子组合，优于贪婪方法。
• 该模型在多种生物医学文档上表现出稳健性能，表明其具备强大的泛化能力。