[论文解读] From Shallow to Deep Interactions Between Knowledge Representation, Reasoning and Machine Learning (Kay R. Amel group)

Zied Bouraoui, Antoine Cornuéjols+10 more|arXiv (Cornell University)|Dec 13, 2019

Bayesian Modeling and Causal Inference参考文献 408被引用 5

一句话总结

本文提出了一项关于知识表示与推理（KRR）和机器学习（ML）之间协同作用的奠基性综述，识别出两者在不确定性、可解释性以及知识与数据平衡等方面的共同关切。文章回顾了神经符号推理和基于规则的学习等混合方法，并通过信念函数、知识图谱补全以及声明式数据挖掘等框架，展示了KRR与ML如何相互促进，旨在弥合符号AI与统计AI之间长期存在的分歧。

ABSTRACT

This paper proposes a tentative and original survey of meeting points between Knowledge Representation and Reasoning (KRR) and Machine Learning (ML), two areas which have been developing quite separately in the last three decades. Some common concerns are identified and discussed such as the types of used representation, the roles of knowledge and data, the lack or the excess of information, or the need for explanations and causal understanding. Then some methodologies combining reasoning and learning are reviewed (such as inductive logic programming, neuro-symbolic reasoning, formal concept analysis, rule-based representations and ML, uncertainty in ML, or case-based reasoning and analogical reasoning), before discussing examples of synergies between KRR and ML (including topics such as belief functions on regression, EM algorithm versus revision, the semantic description of vector representations, the combination of deep learning with high level inference, knowledge graph completion, declarative frameworks for data mining, or preferences and recommendation). This paper is the first step of a work in progress aiming at a better mutual understanding of research in KRR and ML, and how they could cooperate.

研究动机与目标

• 识别尽管历经数十年发展路径不同，知识表示与推理（KRR）与机器学习（ML）之间在概念上的重叠与共同关切。
• 综述整合推理与学习的混合方法，例如归纳逻辑编程、神经符号系统以及基于案例的推理。
• 通过信念函数在回归中的应用、知识图谱补全以及声明式数据挖掘框架等实例，阐明KRR与ML之间的具体协同作用。
• 通过提供一个共同的参考点，促进KRR与ML社区之间的相互理解，推动跨领域融合。
• 为未来将符号推理与数据驱动学习相结合的研究奠定基础，特别是在可解释性与因果理解等方向。

提出的方法

• 调查共享关切，如表示类型、知识与数据的角色、不确定性，以及对解释的需求。
• 回顾混合范式，包括归纳逻辑编程、形式概念分析、基于规则的机器学习以及神经符号推理。
• 分析将概率与可能性模型与学习相结合的方法，如信念函数和回归中的不精确概率。
• 考察深度学习与高层推理及符号推理的集成，特别是在知识图谱补全中的应用。
• 探索将逻辑约束与偏好嵌入学习流程的声明式数据挖掘框架。
• 研究偏好学习与类比推理作为连接推理与学习的桥梁，尤其通过效用函数与类比比例实现。

实验结果

研究问题

• RQ1 尽管历史发展路径不同，KRR与ML之间有哪些核心共同关切？
• RQ2 神经符号推理或归纳逻辑编程等混合方法如何有效结合符号推理与数据驱动学习？
• RQ3 KRR在哪些方面能够增强ML系统，特别是在可解释性、因果理解以及分布偏移处理方面？
• RQ4 ML如何为KRR做出贡献，特别是在表示学习或从数据中提炼符号知识方面？
• RQ5 在整合符号与非符号方法方面存在哪些关键挑战，以及如何通过共享框架加以解决？

主要发现

• KRR与ML在不确定性建模、解释生成以及处理不完整或不精确信息方面存在根本性共同关切。
• 神经符号系统与基于规则的学习框架在将符号推理与深度学习及数据驱动方法有效结合方面表现良好。
• 知识图谱补全与声明式数据挖掘框架表明，符号约束可显著提升ML模型的泛化能力与可解释性。
• 信念函数与不精确概率模型为回归与学习任务中的不确定性量化提供了稳健工具。
• 通过效用函数与类比比例的偏好学习，即使在词典序或可加性假设下，也能从未完全的偏好数据中推断出新比较。
• 本文指出，当前的ML模型往往缺乏可解释性，并易受灾难性遗忘影响，表明迫切需要通过KRR整合来解决这些局限。