[论文解读] Knowledge Infused Learning (K-IL): Towards Deep Incorporation of Knowledge in Deep Learning

Ugur Kursuncu, Manas Gaur+1 more|arXiv (Cornell University)|Dec 1, 2019

Explainable Artificial Intelligence (XAI)被引用 24

一句话总结

本文提出知识注入学习（K-IL），一种神经符号框架，通过将知识图谱（KGs）中的结构化知识深度整合到深度神经网络隐藏层中，以提升表征学习能力。通过使用李雅普诺夫稳定、西尔维斯特优化的变换，对齐知识图谱与深度特征之间的语义空间，K-IL 降低了偏差、误报率和对数据的依赖性，同时增强了真实世界人工智能应用中的可解释性、鲁棒性和泛化能力。

ABSTRACT

Learning the underlying patterns in data goes beyond instance-based generalization to external knowledge represented in structured graphs or networks. Deep learning that primarily constitutes neural computing stream in AI has shown significant advances in probabilistically learning latent patterns using a multi-layered network of computational nodes (i.e., neurons/hidden units). Structured knowledge that underlies symbolic computing approaches and often supports reasoning, has also seen significant growth in recent years, in the form of broad-based (e.g., DBPedia, Yago) and domain, industry or application specific knowledge graphs. A common substrate with careful integration of the two will raise opportunities to develop neuro-symbolic learning approaches for AI, where conceptual and probabilistic representations are combined. As the incorporation of external knowledge will aid in supervising the learning of features for the model, deep infusion of representational knowledge from knowledge graphs within hidden layers will further enhance the learning process. Although much work remains, we believe that knowledge graphs will play an increasing role in developing hybrid neuro-symbolic intelligent systems (bottom-up deep learning with top-down symbolic computing) as well as in building explainable AI systems for which knowledge graphs will provide scaffolding for punctuating neural computing. In this position paper, we describe our motivation for such a neuro-symbolic approach and framework that combines knowledge graph and neural networks.

研究动机与目标

• 通过将知识图谱（KGs）中的结构化知识直接嵌入神经网络表征中，解决深度学习在数据稀缺、偏差、稀疏性以及缺乏可解释性方面的局限性。
• 开发一种神经符号框架，实现在表征学习阶段对外部知识进行深度、有原则的知识注入，而非浅层或事后集成。
• 通过利用领域特定知识来消歧义罕见或模糊的概念，降低模型对大规模、嘈杂数据集的依赖。
• 在心理健康、极端主义检测和医学诊断等高风险领域中，提升模型的可靠性并减少误报。
• 通过将知识作为神经推理的支撑结构，增强模型的可解释性和可追溯性。

提出的方法

• 提出一种神经符号框架，在训练过程中将知识图谱（KGs）的知识注入深度神经网络的潜在特征空间。
• 使用带有李雅普诺夫稳定性约束的语义映射函数，对齐知识图谱的语义空间与深度网络学习到的表征空间。
• 采用西尔维斯特优化方法求解由稳定性约束定义的非凸优化问题，确保收敛至稳定平衡点。
• 定义一个目标函数，通过弗罗贝尼乌斯范数和比例常数 α，最小化知识图谱结构与网络潜在特征之间的差异。
• 将优化应用于学习一个变换矩阵 W，将知识图谱嵌入映射到深度网络表征中，实现双向对齐。
• 在多个网络层中集成知识，支持表征在整个网络中的动态传播与优化。

实验结果

研究问题

• RQ1 如何确定在何时、何地注入知识到深度神经网络层中，以及如何量化应注入的知识量？
• RQ2 如何有效融合深度网络的潜在表征与知识图谱的外部知识表征？
• RQ3 如何以保持稳定的方式，将知识通过学习到的潜在表征进行传播，从而提升学习效果？
• RQ4 何种优化策略可确保知识图谱与深度神经特征语义空间之间实现稳定且有意义的对齐？
• RQ5 深度知识注入在低数据、高模糊性或高风险领域中，如何提升模型性能？

主要发现

• 知识注入学习显著降低了心理健康疾病预测中的误报率，通过深度 KG 集成，使假阳性率降低了 30%。
• 在在线极端主义检测中，浅层知识注入提升了精确率，降低了因模型偏差导致的社会歧视风险。
• 在使用有限 CT 扫描数据进行肺癌诊断时，知识注入的 CNN 模型通过引入专家整理的知识，同时提升了敏感性和特异性。
• K-IL 框架增强了模型对噪声的鲁棒性，减少了对特征频率的依赖，在不牺牲精确率的前提下提升了召回率。
• 采用李雅普诺夫稳定性与西尔维斯特优化，实现了 KG 与神经表征之间的稳定、可微对齐，支持端到端训练。
• 深度知识注入显著提升了模型的泛化能力，减少了偏差，并增强了在社交媒体分析和医疗保健等复杂、上下文敏感领域中的可解释性。