[论文解读] Modular Design Patterns for Hybrid Learning and Reasoning Systems: a taxonomy, patterns and use cases

Michael van Bekkum, Maaike de Boer+3 more|arXiv (Cornell University)|Feb 23, 2021

AI-based Problem Solving and Planning参考文献 64被引用 13

一句话总结

本文提出了一套分类体系及15种以上的模块化设计模式，用于混合神经符号AI系统，实现了对结合学习与推理的系统在架构描述、比较与工程方面的系统化支持。通过将组件组织为基本模式与组合模式，该框架揭示了不同系统之间的隐藏相似性，并支持可复用、可解释的AI设计。

ABSTRACT

The unification of statistical (data-driven) and symbolic (knowledge-driven) methods is widely recognised as one of the key challenges of modern AI. Recent years have seen large number of publications on such hybrid neuro-symbolic AI systems. That rapidly growing literature is highly diverse and mostly empirical, and is lacking a unifying view of the large variety of these hybrid systems. In this paper we analyse a large body of recent literature and we propose a set of modular design patterns for such hybrid, neuro-symbolic systems. We are able to describe the architecture of a very large number of hybrid systems by composing only a small set of elementary patterns as building blocks. The main contributions of this paper are: 1) a taxonomically organised vocabulary to describe both processes and data structures used in hybrid systems; 2) a set of 15+ design patterns for hybrid AI systems, organised in a set of elementary patterns and a set of compositional patterns; 3) an application of these design patterns in two realistic use-cases for hybrid AI systems. Our patterns reveal similarities between systems that were not recognised until now. Finally, our design patterns extend and refine Kautz' earlier attempt at categorising neuro-symbolic architectures.

研究动机与目标

• 解决混合神经符号AI系统缺乏统一概念框架的问题，此类系统结合了数据驱动与知识驱动的方法。
• 通过提供一个共享的、分类组织的术语体系，弥合AI各领域（如机器学习、基于知识的系统）之间的沟通鸿沟。
• 通过一组抽象且可组合的设计模式，实现复杂混合AI系统的模块化、可复用工程设计。
• 在Kautz的神经符号架构分类体系基础上进行扩展与优化，构建更详细、更具实用性的框架。
• 通过两个真实场景的应用案例，验证框架的实际适用性：技能匹配与机器人动作选择。

提出的方法

• 开发一个分类组织的术语体系，用于描述混合AI系统中的过程、数据结构、参与者与组件。
• 定义15种以上的模块化设计模式，包括基本模式（如符号接地、神经符号集成）与组合模式（如反馈回路、多阶段推理）。
• 采用可视化符号（boxology）表示系统组件及其交互关系，明确区分学习（ML）与知识表示（KR）组件。
• 将该框架应用于描述与分析文献中广泛存在的近期混合AI系统，揭示此前未被识别的架构相似性。
• 通过两个详细的应用案例进行框架验证：招聘中的技能匹配与机器人动作选择，两者均使用组合模式表达。
• 提出未来扩展方向，包括为人在回路系统建模参与者，以及开发用于设计模式组合形式化验证的生成语法。

实验结果

研究问题

• RQ1 如何建立一个统一的、模块化的框架，以描述并比较多种混合学习与推理系统之间的架构？
• RQ2 哪些基本与组合设计模式能够系统性地表示不同AI系统中神经与符号组件的集成？
• RQ3 现有混合AI系统在多大程度上共享尚未被识别的底层架构模式，而这些模式因术语与概念上的碎片化而被掩盖？
• RQ4 所提出的的设计模式在多大程度上能支持可解释、可靠且可信的混合AI系统工程？
• RQ5 为支持复杂系统特性（如人在回路交互与系统组合的形式化验证）需要哪些扩展？

主要发现

• 所提出的分类体系与设计模式仅用少量可复用组件，成功描述了大量近期混合AI系统，揭示了隐藏的架构共性。
• 该框架能够提供复杂系统的高层抽象描述，忽略技术实现细节，同时保留功能与结构上的洞察。
• 设计模式在Kautz早期神经符号分类体系基础上，增加了模块化、组合性与实际工程实用性。
• 两个应用案例——招聘中的技能匹配与机器人动作选择——表明，这些模式可用于构建可沟通、类似蓝图的系统设计。
• 本工作为未来形式化验证方法的发展奠定了基础，例如用于模式组合的生成语法与逻辑演算。
• 该框架支持一种设计理念：即从设计之初就实现可解释性、可信性与可靠性，具备认证与质量控制的潜力。