[论文解读] Improving Deep Learning Models via Constraint-Based Domain Knowledge: a Brief Survey

Andrea Borghesi, Federico Baldo+1 more|arXiv (Cornell University)|May 19, 2020

Multimodal Machine Learning Applications参考文献 39被引用 24

一句话总结

本文综述了将领域知识以约束形式整合进深度神经网络（DNNs）的方法，以提升在数据稀缺或复杂学习场景下的性能。文章将技术分类为五类——特征空间、假设空间、数据增强、正则化和约束学习，证明了嵌入逻辑、代数或结构约束可显著提升模型的准确性、泛化能力及训练效率。

ABSTRACT

Deep Learning (DL) models proved themselves to perform extremely well on a wide variety of learning tasks, as they can learn useful patterns from large data sets. However, purely data-driven models might struggle when very difficult functions need to be learned or when there is not enough available training data. Fortunately, in many domains prior information can be retrieved and used to boost the performance of DL models. This paper presents a first survey of the approaches devised to integrate domain knowledge, expressed in the form of constraints, in DL learning models to improve their performance, in particular targeting deep neural networks. We identify five (non-mutually exclusive) categories that encompass the main approaches to inject domain knowledge: 1) acting on the features space, 2) modifications to the hypothesis space, 3) data augmentation, 4) regularization schemes, 5) constrained learning.

研究动机与目标

• 解决在训练数据有限或目标函数高度复杂时，深度学习模型性能不佳的挑战。
• 识别并分类将以约束形式表达的领域知识注入深度神经网络的方法。
• 为从业者和研究人员提供约束驱动知识注入技术的结构化概览。
• 突出展示在深度学习中通过约束整合领域知识的常见趋势、挑战与开放问题。
• 倡导建立统一框架，以标准化不同应用场景中约束表示与注入机制。

提出的方法

• 将基于约束的知识注入技术分类为五类非互斥类别：特征空间操作、假设空间修改、基于约束的数据增强、融合约束的正则化方案，以及端到端约束学习。
• 根据约束的作用范围对约束进行分类：仅输入、仅输出，或输入-输出关系，包括逻辑约束、代数约束、等式约束、不等式约束及单调性约束。
• 区分硬约束（必须满足）与软约束（违反时施加惩罚），以实现灵活地集成到优化目标中。
• 以约束编程和基于逻辑的形式化方法为基础，构建统一且表达力强的语言，用于表达多样化的领域知识。
• 提出一个基于数据可用性与模型复杂度的最优注入策略选择框架：数据稀缺时采用数据增强，存在隐藏模式时采用网络架构修改，复杂任务则采用正则化或约束学习。
• 强调在端到端训练中平衡损失最小化与约束满足的重要性，尤其在准确率与约束遵守之间存在权衡时。

实验结果

研究问题

• RQ1 如何通过以约束形式表达的领域知识提升深度神经网络在低数据量场景下的性能？
• RQ2 深度学习中基于约束的知识注入技术的主要类别是什么？它们在机制与应用场景上如何不同？
• RQ3 由于缺乏标准化基准，比较与评估约束注入方法面临哪些主要挑战？
• RQ4 统一的约束表示与注入框架如何提升深度学习领域的研究与应用？
• RQ5 在不同数据与任务条件下，哪种约束注入策略——数据增强、架构修改或正则化——最为有效？

主要发现

• 基于约束的知识注入显著提升了深度学习性能，尤其在数据稀缺或复杂学习场景中。
• 所识别的五类方法——特征空间、假设空间、数据增强、正则化和约束学习——代表了不同但互补的知识整合途径。
• 硬约束与软约束可有效嵌入训练目标中，其中软约束通过惩罚项实现可微优化。
• 当训练数据有限时，数据增强与特征空间操作最为有效，因其可利用已知关系提升有效数据多样性。
• 当领域知识揭示了原始数据中难以提取的隐藏模式时，架构修改（即假设空间变更）尤为有用。
• 正则化与端到端约束学习最适合于准确率并非唯一指标的复杂任务，但需在损失最小化与约束满足之间精细调参。