[论文解读] MRKL Systems: A modular, neuro-symbolic architecture that combines large language models, external knowledge sources and discrete reasoning
本论文提出 MRKL,一种将大语言模型与外部知识源以及离散推理模块结合的模块化神经符号架构,通过 AI21 Labs 的 Jurassic-X 系统和算术路由实验进行演示。
Huge language models (LMs) have ushered in a new era for AI, serving as a gateway to natural-language-based knowledge tasks. Although an essential element of modern AI, LMs are also inherently limited in a number of ways. We discuss these limitations and how they can be avoided by adopting a systems approach. Conceptualizing the challenge as one that involves knowledge and reasoning in addition to linguistic processing, we define a flexible architecture with multiple neural models, complemented by discrete knowledge and reasoning modules. We describe this neuro-symbolic architecture, dubbed the Modular Reasoning, Knowledge and Language (MRKL, pronounced "miracle") system, some of the technical challenges in implementing it, and Jurassic-X, AI21 Labs' MRKL system implementation.
研究动机与目标
- 动机与识别纯大语言模型在动态知识与推理任务方面的局限性。
- 介绍将神经专家与符号模块以及路由机制相结合的 MRKL 架构。
- 通过 Jurassic-X、AI21 Labs 的 MRKL 实现,以及基于计算器的测试用例来演示该方法。
- 展示模块化路由如何实现对最新信息的访问、专有数据的集成以及组合推理。
提出的方法
- 将 MRKL 定义为一个包含神经和符号专家以及将输入定向到合适模块的路由器的系统。
- 实现一个专用的神经路由器,以从自然语言中提取给符号模块使用的结构化论据。
- 使用数据增强和提示微调来训练路由器以进行算术提取任务。
- 评估跨数字、单词形式、格式和运算类型的泛化能力,以测试神经与符号组件之间的跨越鸿沟。
- 描述一个将提示微调与少样本学习方法进行比较的实验框架,并讨论在格式和操作数表示方面的鲁棒性。
实验结果
研究问题
- RQ1一个模块化的神经符号系统如何将语言模型与符号模块和外部知识源结合,以克服语言模型的局限性?
- RQ2路由器能否有效地选择并参数化对离散推理器的调用,以实现可靠的符号计算?
- RQ3此类系统在数字位数、单词形式和题干格式上的算术推理泛化能力到何种程度?
- RQ4跨越神经符号鸿沟的实际挑战有哪些,Jurassic-X 如何解决它们?
- RQ5在获取最新信息和整合专有数据方面,MRKL 的好处是什么?
主要发现
- 当没有合适的专家时,MRKL 系统能够安全回退到语言模型。
- 模块化设计实现低成本的扩展,同时不损害现有能力。
- 路由决策为输出提供可解释的正当性(例如基于计算器的结果)。
- 外部 API 和数据库实现最新信息与专有知识的整合。
- 在使用数据增强和提示微调时,Jurassic-X 展示了几近完美的文本算术提取能力,并在数字、单词形式和格式上具有强泛化性。
- 两步运算和多步运算的算术泛化实验在大多数公式类型上表现稳健,但也有少数格式相关的例外。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。