[论文解读] A Boxology of Design Patterns for Hybrid Learning and Reasoning Systems

Frank van Harmelen, Annette ten Teije|Digital Academic REpository of VU University Amsterdam (Vrije Universiteit Amsterdam)|May 29, 2019

Business Process Modeling and Analysis被引用 9

一句话总结

本文提出了一种组合式设计模式框架——'boxology'——以系统化整合机器学习（ML）与知识表示（KR）的混合学习与推理系统。通过抽象出具体算法，聚焦于ML与符号组件之间的功能交互，作者识别出15种核心模式，捕捉神经符号系统在结构上的多样性，该框架已在50余篇近期论文中得到验证，有助于更清晰地理解、复用与设计混合AI系统。

ABSTRACT

We propose a set of compositional design patterns to describe a large variety of systems that combine statistical techniques from machine learning with symbolic techniques from knowledge representation. As in other areas of computer science (knowledge engineering, software engineering, ontology engineering, process mining and others), such design patterns help to systematize the literature, clarify which combinations of techniques serve which purposes, and encourage re-use of software components. We have validated our set of compositional design patterns against a large body of recent literature.

研究动机与目标

• 为解决混合学习与推理系统研究文献中日益增长的复杂性与碎片化问题，提出一个统一的概念性框架。
• 系统化整合机器学习与符号推理的多样化方法，这些方法通常在不同研究社区中独立发展。
• 提供一个可复用的抽象框架，基于组合式设计模式，捕捉混合系统功能架构的本质，独立于具体算法或形式化体系。
• 通过广泛采样的50余篇近期论文验证该框架，证明所调查的所有系统均可归类于所提出的15种模式之中。
• 通过支持未来的研究、教育与设计，实现对混合AI系统架构更清晰的比较、解释与拓展。

提出的方法

• 提出一个由15种组合式设计模式构成的分类体系，描述机器学习（ML）与知识表示（KR）组件在混合系统中如何交互。
• 使用图形化符号表示ML与KR组件之间的功能流程与数据依赖关系，强调架构组合而非实现细节。
• 定义基本模式（如ML sym、sym ML、sym sym、ML ML）作为构建更复杂配置（如顺序或非顺序组合）的基石。
• 通过将该模式集映射至来自不同会议（如AAAI、NIPS、IJCAI）的50余篇近期论文，验证其有效性，确认语料库中的每个系统均符合15种模式之一。
• 强调功能抽象：模式由组件之间的角色与数据流定义，而非其内部使用的具体数学或算法技术。
• 提出未来扩展方向，包括定义生成所有语法有效模式组合的语法规则，以及将人机协同组件集成至混合智能系统中。

实验结果

研究问题

• RQ1 尽管在形式化体系、算法与研究社区来源上存在差异，如何对大量且异质的混合学习与推理系统研究文献进行系统化分类？
• RQ2 近期文献中描述的大多数神经符号系统所依赖的基本架构配置是什么？
• RQ3 一个由少量抽象设计模式构成的小集合，能否在不依赖特定算法或表示法的前提下，完整捕捉混合学习与推理系统的结构多样性？
• RQ4 该基于模式的框架能否作为混合AI系统在规范设计、教育与未来创新中的基础？
• RQ5 该框架对理解符号推理与机器学习在认知架构及人机协作中的作用有何启示？

主要发现

• 所提出的15种组合式设计模式成功捕捉了从近期文献中分析的全部50余个混合系统，证明了该框架的完备性。
• 这些模式抽象出了具体技术（如不同类型的神经网络或逻辑形式化体系），转而聚焦于功能角色与数据流，从而实现跨范式的比较与复用。
• 该框架揭示了反复出现的架构模式，例如使用符号表示作为中间抽象以提升学习效率与鲁棒性，如[9]和[45]中的系统所示。
• 模式（ML sym）——即神经网络被训练以执行逻辑推理——是一种广泛应用的配置，涵盖如RDF推理、描述逻辑与逻辑编程等方法。
• 该框架通过基于语法的模式组合生成，能够识别出新颖且尚未探索的架构组合，提示了新的研究方向。
• 该方法已在为期两年的研究研讨班中被证明具有实际教学效用，表明其在教育与知识传递中的实用价值。