[论文解读] Commonsense Knowledge Reasoning and Generation with Pre-trained Language Models: A Survey

Prajjwal Bhargava, Vincent Ng|arXiv (Cornell University)|Jan 28, 2022

Topic Modeling被引用 9

一句话总结

本综述探讨了预训练语言模型（PLMs）如何捕捉并利用常识知识以进行推理和生成任务，分析其优势、局限性和偏见。它评估了基准测试，通过模板探测PLM中的知识，并识别出关键挑战，如报告偏差、知识稀疏性以及多语言差距，提出了未来研究方向，以实现在自然语言处理中更稳健、类人的理解能力。

ABSTRACT

While commonsense knowledge acquisition and reasoning has traditionally been a core research topic in the knowledge representation and reasoning community, recent years have seen a surge of interest in the natural language processing community in developing pre-trained models and testing their ability to address a variety of newly designed commonsense knowledge reasoning and generation tasks. This paper presents a survey of these tasks, discusses the strengths and weaknesses of state-of-the-art pre-trained models for commonsense reasoning and generation as revealed by these tasks, and reflects on future research directions.

研究动机与目标

• 综述近期使用预训练语言模型（PLMs）在常识知识推理与生成方面的进展。
• 分析近期基准测试揭示的PLMs在多大程度上捕捉并利用了常识知识。
• 识别当前基准测试中的关键局限性，包括偏见和报告偏差，这些局限性阻碍了对模型理解能力的有意义评估。
• 探讨开放性挑战，如知识稀疏性、知识图谱中的非上下文化问题，以及对多语言常识推理的需求。
• 通过识别常识知识中尚未充分探索的组成部分（如心理和情感状态）以及多模态信号的整合，为未来研究提供指导。

提出的方法

• 使用手工设计的模板，将知识库三元组（例如，<主语, 关系, 宾语>）转换为自然语言句子，以探测PLM中的知识。
• 在大规模文本上进行自监督预训练，以学习通用的语言表征，包括语言学和常识知识。
• 在预训练过程中应用掩码语言建模（MLM）和其他自监督任务，使PLMs能够学习上下文和常识知识。
• 使用对抗性过滤和数据增强技术，减少词汇重叠和标注中的伪影，从而消除基准测试中导致捷径学习的路径。
• 通过利用结构和语义连接，探索使知识图谱（KGs）更密集化和上下文化的方法，以减少稀疏性并提高相关性。
• 研究结合视觉和文本信号的多模态方法，以增强仅基于文本训练的常识推理能力。

实验结果

研究问题

• RQ1 预训练语言模型在多大程度上捕捉并利用了常识知识？如何实现可靠的测量？
• RQ2 当前基准测试在评估常识推理方面的主要局限性是什么？偏见如何影响模型性能和解释性？
• RQ3 如何减轻知识图谱中的报告偏差和知识稀疏性，以提高常识推理系统的鲁棒性？
• RQ4 多模态数据（例如视觉）在丰富PLMs的常识知识获取与推理方面发挥什么作用？
• RQ5 在多语言环境中扩展常识推理面临哪些挑战与机遇？为什么跨语言PLMs在非英语基准测试中表现不佳？

主要发现

• 预训练语言模型（PLMs）在常识推理与生成方面展现出显著能力，但其在基准测试中的性能提升可能并不反映真正的理解，这是由于任务设计存在缺陷。
• 许多现有基准测试存在词汇重叠、可预测的问题结构和标注伪影，使模型能够在不进行真实推理的情况下获得高准确率。
• 对抗性过滤和数据增强技术可减少捷径学习，但偏见在基准测试设计与评估中仍是持续存在的挑战。
• 用于常识推理的知识图谱通常稀疏且缺乏上下文，限制了其使用价值；提升其密度和上下文化的方法虽具前景，但尚未完成。
• 报告偏差——即常识知识被隐含而非明确陈述——会导致过度泛化并放大模型偏见，尤其是在训练数据有限时。
• 跨语言PLMs在非英语常识推理任务上的迁移性能较差，凸显了多语言常识理解研究中的关键空白。