[论文解读] Incorporating Domain Knowledge into Deep Neural Networks

Tirtharaj Dash, Sharad Chitlangia+2 more|arXiv (Cornell University)|Feb 27, 2021

Explainable Artificial Intelligence (XAI)参考文献 42被引用 8

一句话总结

本文综述了通过逻辑和数值约束将领域知识整合到深度神经网络（DNNs）中的方法，从而提升模型性能、可解释性和公平性。研究表明，通过逻辑规则或损失函数中的正则化等方式编码领域知识，可显著提高预测准确性，该结论在70个数据集上的图神经网络中得到验证。

ABSTRACT

We present a survey of ways in which domain-knowledge has been included when constructing models with neural networks. The inclusion of domain-knowledge is of special interest not just to constructing scientific assistants, but also, many other areas that involve understanding data using human-machine collaboration. In many such instances, machine-based model construction may benefit significantly from being provided with human-knowledge of the domain encoded in a sufficiently precise form. This paper examines two broad approaches to encode such knowledge--as logical and numerical constraints--and describes techniques and results obtained in several sub-categories under each of these approaches.

研究动机与目标

• 为解决通过以精确、可操作的形式系统性地整合领域知识来提升深度神经网络性能的挑战。
• 探索如何在模型构建过程中对逻辑和数值约束进行编码与集成。
• 考察领域知识在提升人机协同人工智能系统中模型可解释性、公平性和可信度方面的作用。
• 识别将符号化领域知识转化为可微分、可训练的神经网络组件过程中的实际与理论挑战。
• 将领域知识整合定位为负责任人工智能的关键推动因素，包括可解释性与偏见缓解。

提出的方法

• 将领域知识表示为命题逻辑和谓词逻辑约束，包括标准范式和n元关系。
• 通过可微松弛技术或神经符号集成方法对逻辑约束进行编码，以支持基于梯度的训练。
• 通过修改后的损失函数将领域知识表示为数值约束，包括正则化项和权重先验。
• 利用先验分布或迁移学习对网络权重施加约束，以嵌入特定领域的归纳偏置。
• 在图神经网络中使用顶点增强技术，将源自逻辑规则的领域特定特征注入模型。
• 通过消融研究和在基准数据集上的性能对比评估约束集成效果，尤其关注图神经网络。

实验结果

研究问题

• RQ1 如何在不破坏可微性的前提下，有效编码并整合以逻辑规则形式存在的领域知识到深度神经网络中？
• RQ2 在DNN训练过程中，表示和强制执行数值约束（如正则化或权重先验）的最有效方法是什么？
• RQ3 在现实世界中的科学与工程应用中，整合领域知识在多大程度上能提升预测性能？
• RQ4 领域知识如何有助于使人机协同系统中的深度神经网络更具可解释性和可信度？
• RQ5 将符号化领域知识转化为可训练的神经网络组件过程中，面临哪些关键技术与实际挑战？

主要发现

• 通过图神经网络中的顶点增强技术整合领域知识，在70个不同数据集中均显著提升了预测准确性。
• 当正确编码时，逻辑约束可提升模型泛化能力，并减少对数据中虚假相关性的依赖。
• 正则化项和权重先验等数值约束能显著提升模型在低数据场景下的鲁棒性和收敛性。
• 领域知识的整合通过使内部表征与领域特定概念对齐，增强了模型的可解释性。
• 尽管已取得进展，但在区分逻辑约束并确保基于梯度训练的端到端可微性方面仍存在挑战。
• 领域知识整合是负责任人工智能的关键推动因素，支持公平性、因果推断与伦理对齐在深度学习系统中的实现。