[论文解读] Language Models as Inductive Reasoners

Zonglin Yang, Li Dong+6 more|arXiv (Cornell University)|Dec 21, 2022

Natural Language Processing Techniques被引用 7

一句话总结

本文提出了一种新型归纳推理范式，利用预训练语言模型（PLMs）从自然语言事实中推断自然语言规则，引入了包含1.2k条规则-事实对的DEER数据集及新颖的评估指标。该框架受哲学推理启发，在自动评估与人工评估中均优于基线模型，展示了PLMs在无需形式化逻辑表示的情况下执行通用自然语言归纳推理的能力。

ABSTRACT

Inductive reasoning is a core component of human intelligence. In the past research of inductive reasoning within computer science, formal language is used as representations of knowledge (facts and rules, more specifically). However, formal language can cause systematic problems for inductive reasoning such as disability of handling raw input such as natural language, sensitiveness to mislabeled data, and incapacity to handle ambiguous input. To this end, we propose a new paradigm (task) for inductive reasoning, which is to induce natural language rules from natural language facts, and create a dataset termed DEER containing 1.2k rule-fact pairs for the task, where rules and facts are written in natural language. New automatic metrics are also proposed and analysed for the evaluation of this task. With DEER, we investigate a modern approach for inductive reasoning where we use natural language as representation for knowledge instead of formal language and use pretrained language models as ''reasoners''. Moreover, we provide the first and comprehensive analysis of how well pretrained language models can induce natural language rules from natural language facts. We also propose a new framework drawing insights from philosophy literature for this task, which we show in the experiment section that surpasses baselines in both automatic and human evaluations. We discuss about our future perspectives for inductive reasoning in Section 7. Dataset and code are available at https://github.com/ZonglinY/Inductive_Reasoning.

研究动机与目标

• 为解决形式语言与符号推理在归纳推理中的系统性局限，如对误标数据敏感以及无法处理原始自然语言输入的问题。
• 提出一种新范式，即事实与规则均以自然语言表示，以实现更类人、更灵活的归纳推理。
• 构建一个包含1.2k条高质量自然语言规则-事实对的新数据集DEER，以支持该新范式。
• 开发专用于自然语言归纳推理任务的新自动评估指标。
• 全面评估预训练语言模型从自然语言观察中归纳出通用自然语言规则的能力。

提出的方法

• 提出一项新的归纳推理任务：从自然语言事实中归纳出通用自然语言规则，避免使用形式化逻辑表示。
• 构建包含1.2k条规则-事实对的DEER数据集，数据源自常识与科学知识，且规则由人工标注，以概括观察到的事实。
• 设计专用于自然语言归纳推理的新自动评估指标，如规则泛化能力与事实一致性。
• 开发一种受哲学文献中归纳推理理论启发的新推理框架，整合如假设泛化与基于证据的推理等原则。
• 微调并评估最先进预训练语言模型（PLMs）作为“推理者”，通过 few-shot prompting 与思维链（chain-of-thought）技术从输入事实生成规则。
• 开展自动评估与人工评估，将所提框架与强基线模型（包括零样本与 few-shot prompting 方法）进行对比。

实验结果

研究问题

• RQ1 预训练语言模型是否能有效从自然语言事实中归纳出通用自然语言规则，而无需依赖形式化逻辑表示？
• RQ2 专为自然语言归纳推理设计的自动评估指标，与人类对规则质量与泛化能力的判断之间是否存在强相关性？
• RQ3 与标准提示方法相比，受哲学启发的推理框架在多大程度上提升了所归纳规则的质量与泛化能力？
• RQ4 所提出的范式在多大程度上缓解了符号式ILP系统存在的系统性问题，如对标签噪声敏感及无法处理模糊或原始自然语言输入？
• RQ5 在扩展该方法时，主要挑战是什么，特别是生成新颖且非平凡的科学假设（即文献中尚未存在的假设）？

主要发现

• 受归纳推理哲学原则启发的所提框架，在自动评估与人工评估中均显著优于强基线模型，展现出更优的规则泛化能力与事实一致性。
• DEER数据集成功捕捉了常识与科学领域中多样且高质量的规则-事实关系，规则能概括多个自然语言事实。
• 新自动评估指标与人类判断具有强相关性，验证了其在评估规则质量与归纳强度方面的有效性。
• 预训练语言模型在从原始文本事实中生成合理且通用的自然语言规则方面表现出强大能力，表明其在科学假说生成中或可作为“副驾驶”使用。
• 研究发现规则质量对事实多样性与语义连贯性高度敏感，结构不良或冗余的事实会导致生成的规则质量下降。
• 该框架在科学假说发现方面展现出潜力，后续工作（Yang et al., 2023b）表明大语言模型可生成文献中尚未存在的新颖且有效的科学假说。