[论文解读] Improving astroBERT using Semantic Textual Similarity

Félix Grèzes, Thomas J. Allen+14 more|arXiv (Cornell University)|Nov 29, 2022

Data Quality and Management被引用 4

一句话总结

该论文提出 astroBERT，一种基于 BERT 的微调语言模型，其在 NASA ADS 数据库中 40 万篇天体物理学论文上进行预训练，实现了在天文学文献命名实体识别任务中的优越性能。其在 DEAL 基准测试中的 F1 得分达到 0.6362，优于 BERT 和 SciBERT，同时提出通过引用上下文和语义文本相似性来增强模型，以提升科学文本理解能力。

ABSTRACT

The NASA Astrophysics Data System (ADS) is an essential tool for researchers that allows them to explore the astronomy and astrophysics scientific literature, but it has yet to exploit recent advances in natural language processing. At ADASS 2021, we introduced astroBERT, a machine learning language model tailored to the text used in astronomy papers in ADS. In this work we: - announce the first public release of the astroBERT language model; - show how astroBERT improves over existing public language models on astrophysics specific tasks; - and detail how ADS plans to harness the unique structure of scientific papers, the citation graph and citation context, to further improve astroBERT.

研究动机与目标

• 解决天文学文献中术语歧义和实体发现的挑战，例如区分 '普朗克任务' 与 '普朗克常数'。
• 通过创建针对科学术语和论文结构的领域特定语言模型，提升天体物理学文本中的命名实体识别（NER）性能。
• 公开发布 astroBERT 版本，以加速天文学自然语言处理研究，并支持针对特定任务的微调。
• 利用科学论文的独特结构特征——特别是引用图谱和引用上下文——进一步增强模型的语义理解能力。
• 探索通过引用论文摘要和引用上下文的句子嵌入来实现语义文本相似性（STS），以超越标准预训练任务，提升表征学习能力。

提出的方法

• 在约 40 万篇近期天体物理学论文（约 40 亿个标记）上使用掩码语言建模（MLM）和下一句预测（NSP）对基础 astroBERT 模型进行 40 个周期的预训练。
• 在包含全文字和致谢部分中 32 种天体物理学相关命名实体的 DEAL 基准数据集上对 astroBERT 进行微调。
• 通过 Hugging Face 发布模型、分词器和教程，以支持社区访问并集成到下游自然语言处理任务中。
• 提出通过从引用上下文中提取语义相似的句子对来扩展 astroBERT 的预训练，具体为：引用前的段落与被引用论文的摘要。
• 采用 Sentence-BERT 风格的训练方法，学习能反映语义相似性的密集句子嵌入，以提升科学文本中的上下文理解能力。
• 用基于引用的语义相似性学习替代或补充传统的 NSP，以更好地契合科学文献的逻辑与结构流程。

实验结果

研究问题

• RQ1 像 astroBERT 这类领域特定语言模型是否能在天文学文献的命名实体识别任务中超越通用模型如 BERT 和 SciBERT？
• RQ2 在大规模、专业化的天体物理学论文语料上进行预训练，如何影响模型对科学实体的消歧能力和对罕见或模糊术语的识别能力？
• RQ3 引用上下文和语义文本相似性在多大程度上能提升科学语言模型的性能与鲁棒性，超越标准预训练目标？
• RQ4 当前 astroBERT 版本的关键局限是什么？基于精确率与召回率分析，哪些实体类型（如事件、标识符）最需要改进？
• RQ5 科学论文的特殊结构——尤其是引用图谱——如何系统性地被利用以增强科学自然语言处理中的表征学习？

主要发现

• astroBERT 在 DEAL 基准测试中取得 0.6362 的测试 F1 得分，显著优于 BERT（0.4409）和 SciBERT（0.5398），证明其在领域特定命名实体识别中的优越性。
• 公开发布的 astroBERT 版本在测试集上取得 0.6362 的 F1 得分，Matthews 相关系数（MCC）为 0.8302，表明其在所有类别上均表现出强大的平衡性能。
• astroBERT 在识别观测技术（ObT）和数据库（DaB）方面表现尤为突出，精确率与召回率均较高，表明其对技术术语的学习效果良好。
• 模型在罕见或模糊标签（如事件（Eve）和标识符（Ide））上的表现较弱，表明需要更多训练数据或更优的数据增强策略。
• 利用引用上下文进行训练——即将引用段落与被引用论文的摘要配对——为超越标准预训练目标提升语义理解提供了有前景的路径。
• 模型在验证集和测试集上的表现均显著优于 DEAL 共享任务中使用的基线 astroBERT 版本，证实了最终训练与微调流程的有效性。