[论文解读] Knowledge-augmented Deep Learning and Its Applications: A Survey

Zijun Cui, Tian Gao+2 more|arXiv (Cornell University)|Nov 30, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本综述提出知识增强深度学习（KADL）作为一种框架，通过系统性地识别、表示和整合多样化的领域知识——包括科学知识和经验知识——来提升深度学习在数据效率、泛化能力和可解释性方面的表现。该综述提出了一套新颖的知识类型与表示方式的分类体系，全面回顾了计算机视觉、自然语言处理和科学建模领域中的知识整合方法，并指出了关键挑战与未来方向，包括混合整合、不确定性建模以及决策层融合。

ABSTRACT

Deep learning models, though having achieved great success in many different fields over the past years, are usually data hungry, fail to perform well on unseen samples, and lack of interpretability. Various prior knowledge often exists in the target domain and their use can alleviate the deficiencies with deep learning. To better mimic the behavior of human brains, different advanced methods have been proposed to identify domain knowledge and integrate it into deep models for data-efficient, generalizable, and interpretable deep learning, which we refer to as knowledge-augmented deep learning (KADL). In this survey, we define the concept of KADL, and introduce its three major tasks, i.e., knowledge identification, knowledge representation, and knowledge integration. Different from existing surveys that are focused on a specific type of knowledge, we provide a broad and complete taxonomy of domain knowledge and its representations. Based on our taxonomy, we provide a systematic review of existing techniques, different from existing works that survey integration approaches agnostic to taxonomy of knowledge. This survey subsumes existing works and offers a bird's-eye view of research in the general area of knowledge-augmented deep learning. The thorough and critical reviews of numerous papers help not only understand current progresses but also identify future directions for the research on knowledge-augmented deep learning.

研究动机与目标

• 为解决数据依赖性强、不可解释的深度学习模型的局限性，通过整合领域知识来提升性能。
• 定义并系统化KADL的三大核心任务：知识识别、表示与整合。
• 提出一个广泛且统一的领域知识分类体系，涵盖科学知识与经验知识，超越以往局限于特定学科的综述。
• 以知识类型感知的方式回顾整合技术，明确区分科学知识与经验知识的应用差异。
• 识别开放性挑战，如不确定性建模、混合整合以及决策层融合，以提升模型的鲁棒性与可解释性。

提出的方法

• 提出一种新颖的领域知识分类体系，将知识划分为科学知识（如物理定律、数学方程）与经验知识（如规则、事实、启发式方法）。
• 对知识表示形式进行分类，包括符号逻辑、知识图谱、概率模型及数学方程。
• 系统性地回顾知识整合技术，区分数据驱动的训练时整合与基于先验模型的决策层融合。
• 按知识类型对整合方法进行分类，例如针对科学知识采用物理信息神经网络，针对经验知识采用神经符号模型。
• 提出一个指导性树状图（图9），将知识类型映射至表示格式与整合方法，为KADL设计提供路线图。
• 强调需要具备不确定性感知的整合机制，主张采用贝叶斯网络等概率图模型来捕捉科学知识与经验知识中的不确定性。

实验结果

研究问题

• RQ1 在深度学习应用中，如何系统性地识别并分类多样化的领域知识——包括科学知识与经验知识？
• RQ2 不同类型的领域知识最有效的表示格式是什么？这些表示方式如何影响模型性能？
• RQ3 如何以增强数据效率、泛化能力与可解释性的方式将知识整合进深度学习模型？
• RQ4 当前整合方法在处理不确定性及融合多种知识类型方面存在哪些局限性？
• RQ5 在实现鲁棒、可泛化且可解释的知识增强深度学习方面，未来最具前景的研究方向是什么？

主要发现

• 本综述建立了一个全面的领域知识分类体系，明确区分科学知识（如物理定律）与经验知识（如规则、启发式方法），并涵盖以往局限于特定领域的综述所未涉及的范围。
• 现有整合方法大多采用与数据联合训练的方式，缺乏对数据与知识之间原则性分离的设计，限制了模型的可解释性与灵活性。
• 决策层融合——即基于知识的先验模型与数据驱动预测结果相结合——为端到端训练时整合提供了更具模块化与可解释性的替代方案。
• 混合整合方法（如结合架构设计、正则化与精炼技术）虽尚未被充分探索，但具有显著潜力，可有效发挥各类方法的互补优势。
• 当前方法普遍忽略科学知识与经验知识中的不确定性，而对这类不确定性的概率建模仍是开放性挑战。
• 本综述识别出一个关键研究缺口：面向真实世界应用的KADL研究严重不足，现有工作大多局限于实验室规模的科学问题，而非广泛的实际部署场景。