[论文解读] Improving BERT Model Using Contrastive Learning for Biomedical Relation Extraction

Peng Su, Yifan Peng+1 more|arXiv (Cornell University)|Apr 28, 2021

Topic Modeling参考文献 33被引用 4

一句话总结

本文提出一种对比学习框架，通过最短依存路径（SDP）感知的数据增强和外部知识库的利用，将语言学知识整合到 BERT 中，以增强其在生物医学关系抽取任务中的表示能力。该方法在 ChemProt、DDI 和 PPI 基准测试中达到最先进性能，并通过减少预测偏移提升了模型对推理依据的忠实度，表明其对推理依据的依赖更强。

ABSTRACT

Contrastive learning has been used to learn a high-quality representation of the image in computer vision. However, contrastive learning is not widely utilized in natural language processing due to the lack of a general method of data augmentation for text data. In this work, we explore the method of employing contrastive learning to improve the text representation from the BERT model for relation extraction. The key knob of our framework is a unique contrastive pre-training step tailored for the relation extraction tasks by seamlessly integrating linguistic knowledge into the data augmentation. Furthermore, we investigate how large-scale data constructed from the external knowledge bases can enhance the generality of contrastive pre-training of BERT. The experimental results on three relation extraction benchmark datasets demonstrate that our method can improve the BERT model representation and achieve state-of-the-art performance. In addition, we explore the interpretability of models by showing that BERT with contrastive pre-training relies more on rationales for prediction. Our code and data are publicly available at: https://github.com/udel-biotm-lab/BERT-CLRE.

研究动机与目标

• 通过对比学习改进 BERT 在生物医学关系抽取任务中的文本表示能力。
• 通过最短依存路径（SDP）引入语言学知识，解决 NLP 中文本数据增强受限的问题。
• 通过从外部知识库构建大规模训练数据，提升模型泛化能力。
• 通过提出的新预测偏移度量方法，评估模型对输入推理依据的忠实度，从而提升模型可解释性。
• 在标准生物医学关系抽取基准测试中，展示最先进性能和鲁棒性。

提出的方法

• 引入对比预训练步骤，通过在实体对之间的最短依存路径（SDP）之外的词语上应用同义词替换，生成正样本对。
• 在数据增强过程中保留 SDP 上的所有词语，以维持与关系相关的信息并确保语义一致性。
• 利用外部知识库（例如通过远程监督获得）生成额外的训练样本，用于对比预训练。
• 使用对比学习目标训练 BERT 模型，以最大化增强视图之间的一致性，同时最小化与负样本对的相似度。
• 采用预测偏移度量方法，通过在 SDP 无关的输入扰动后测量预测变化，评估模型的忠实度。
• 将该方法应用于三个生物医学关系抽取任务：ChemProt、DDI 和 PPI，分别以 BioBERT 和 PubMedBERT 作为骨干网络。

实验结果

研究问题

• RQ1 当结合语言学启发的数据增强时，对比学习是否能提升 BERT 在生物医学关系抽取任务中的表示能力？
• RQ2 将外部知识库引入后，对比预训练的 BERT 模型在关系抽取任务中的泛化能力是否得到提升？
• RQ3 对比预训练是否增强了模型预测对推理依据（特别是最短依存路径）的忠实度？
• RQ4 对比预训练后，模型对输入扰动的鲁棒性提升到何种程度？
• RQ5 新提出的预测偏移度量方法是否能有效衡量生物医学关系抽取中模型推理依据的忠实度？

主要发现

• 所提方法在三个基准数据集（ChemProt、DDI 和 PPI）上均达到最先进性能，优于标准 BERT 和 PubMedBERT。
• 在 ChemProt 数据集上，BioBERT+CLEK 的预测偏移从 246 降至 191（减少 22%），PubMedBERT+CLEK 从 248 降至 189（减少 24%）。
• 在 DDI 数据集上，BioBERT+CLEK 的预测偏移从 111 降至 89（减少 20%），PubMedBERT+CLEK 从 90 降至 75（减少 17%）。
• 在 PPI 数据集上，BioBERT+CLEK 的预测偏移从 51 降至 33（减少 35%），PubMedBERT+CLEK 从 49 降至 34（减少 31%）。
• 预测偏移的减少表明，经过对比预训练的模型更依赖最短依存路径（SDP）作为推理依据，从而增强了可解释性和忠实度。
• 模型对小规模、非 SDP 的输入变化表现出更强的鲁棒性，证实了泛化能力和稳定性得到提升。