[论文解读] Rewire-then-Probe: A Contrastive Recipe for Probing Biomedical Knowledge of Pre-trained Language Models

Zaiqiao Meng, Fangyu Liu+4 more|arXiv (Cornell University)|Oct 15, 2021

Topic Modeling被引用 5

一句话总结

本文提出了 MedLAMA，一个基于 UMLS Metathesaurus 构建的生物医学知识探针基准，以及一种无需使用特定任务数据的自监督对比微调方法 Contrastive-Probe，以提升预训练语言模型在事实知识探针任务上的表现。该方法将 acc@10 从 3% 提升至 24%，揭示了生物医学 PLM 中存在大量未被发掘的知识，并指出当前评估基准因 UMLS 中知识覆盖不全而存在局限性。

ABSTRACT

Knowledge probing is crucial for understanding the knowledge transfer mechanism behind the pre-trained language models (PLMs). Despite the growing progress of probing knowledge for PLMs in the general domain, specialised areas such as biomedical domain are vastly under-explored. To catalyse the research in this direction, we release a well-curated biomedical knowledge probing benchmark, MedLAMA, which is constructed based on the Unified Medical Language System (UMLS) Metathesaurus. We test a wide spectrum of state-of-the-art PLMs and probing approaches on our benchmark, reaching at most 3% of acc@10. While highlighting various sources of domain-specific challenges that amount to this underwhelming performance, we illustrate that the underlying PLMs have a higher potential for probing tasks. To achieve this, we propose Contrastive-Probe, a novel self-supervised contrastive probing approach, that adjusts the underlying PLMs without using any probing data. While Contrastive-Probe pushes the acc@10 to 28%, the performance gap still remains notable. Our human expert evaluation suggests that the probing performance of our Contrastive-Probe is still under-estimated as UMLS still does not include the full spectrum of factual knowledge. We hope MedLAMA and Contrastive-Probe facilitate further developments of more suited probing techniques for this domain.

研究动机与目标

• 为解决生物医学领域中缺乏专门的知识探针基准的问题，特别是针对多标记实体和复杂关系的处理。
• 探究当前最先进探针方法与生物医学 PLM 在生物医学知识探针任务中表现不佳的原因。
• 开发一种数据高效、自监督的方法，以在不依赖标注探针数据的情况下提升 PLM 的知识探针能力。
• 评估现有基准（如 UMLS）是否因知识覆盖不全或缺失事实信息而低估模型性能。
• 证明生物医学 PLM 的真实知识容量高于当前度量所显示的水平，特别是在采用改进的探针与表征技术时。

提出的方法

• 构建 MedLAMA，一个包含 19 种关系和 19,000 个查询的生物医学探针基准，数据源自 UMLS Metathesaurus，并经领域专家验证。
• 基于查询标记重叠设计难例与易例，以评估模型的泛化能力与鲁棒性。
• 提出 Contrastive-Probe，一种自监督对比微调方法，仅使用来自生物医学文本的原始非探针句子对 PLM 进行适应。
• 利用对比学习重新配置模型的表征空间，通过最大化同一输入的正样本与负样本视图之间的一致性，提升事实知识的编码能力。
• 将该方法应用于多种生物医学 PLM（如 PubMedBERT、BioBERT），无需在探针数据上进行微调，从而实现在不同模型间的公平比较。
• 采用人工专家评估，将模型预测与 UMLS 真值进行比对，发现由于知识库覆盖不全，许多有效模型输出被排除在评估之外。

实验结果

研究问题

• RQ1 为何最先进的探针方法与生物医学 PLM 在 MedLAMA 上的 acc@10 仅为 3%，尽管其在通用 NLP 任务中表现优异？
• RQ2 在不使用特定任务数据的前提下，自监督对比微调能在多大程度上提升生物医学 PLM 的事实知识探针性能？
• RQ3 不同 Transformer 层如何编码不同类型的事实知识？这种编码方式如何影响不同关系类型的性能表现？
• RQ4 UMLS 知识库在多大程度上未能涵盖有效事实知识，从而导致评估指标过于悲观？
• RQ5 对比预训练方案能否有效释放生物医学 PLM 中的潜在事实知识？与基于提示或微调的方法相比表现如何？

主要发现

• MedLAMA 基准揭示，现有探针方法在生物医学知识探针任务上的 acc@10 仅为 3%，表明在专业领域中存在显著的性能不足。
• Contrastive-Probe 通过自监督对比微调，将最佳 acc@10 从 3% 提升至 24%，证明了无需任何探针数据即可实现显著性能提升。
• 不同 Transformer 层编码不同类型的事实知识，部分层在特定关系类型（如“基因产物具有生化功能”或“疾病可能具有分子异常”）上表现更优。
• 人工专家评估显示，由于 UMLS 知识库中缺少条目，许多有效模型预测被排除在评估之外，表明当前基准对模型的惩罚过重。
• 生物医学 PLM 的真实知识容量高于当前测量值，因为通过对比学习优化表征空间，以及通过提示工程优化输入空间，均可进一步解锁潜在的事实知识。