[论文解读] Learning and T-Norms Theory

Francesco Giannini, Giuseppe Marra+3 more|arXiv (Cornell University)|Jul 26, 2019

Neural Networks and Applications参考文献 27被引用 4

一句话总结

本文提出了一套理论框架，通过t-范数生成器明确推导出神经符号损失函数，为监督学习中的交叉熵损失提供了原则性依据，并实现了一类新型可微分损失函数，显著加快深度学习模型的收敛速度，同时降低对数据的依赖性。

ABSTRACT

Deep learning has been shown to achieve impressive results in several domains like computer vision and natural language processing. Deep architectures are typically trained following a supervised scheme and, therefore, they rely on the availability of a large amount of labeled training data to effectively learn their parameters. Neuro-symbolic approaches have recently gained popularity to inject prior knowledge into a deep learner without requiring it to induce this knowledge from data. These approaches can potentially learn competitive solutions with a significant reduction of the amount of supervised data. A large class of neuro-symbolic approaches is based on First-Order Logic to represent prior knowledge, that is relaxed to a differentiable form using fuzzy logic. This paper shows that the loss function expressing these neuro-symbolic learning tasks can be unambiguously determined given the selection of a t-norm generator. When restricted to simple supervised learning, the presented theoretical apparatus provides a clean justification to the popular cross-entropy loss, that has been shown to provide faster convergence and to reduce the vanishing gradient problem in very deep structures. One advantage of the proposed learning formulation is that it can be extended to all the knowledge that can be represented by a neuro-symbolic method, and it allows the development of a novel class of loss functions, that the experimental results show to lead to faster convergence rates than other approaches previously proposed in the literature.

研究动机与目标

• 通过将损失函数建立在t-范数生成器基础上，为神经符号深度学习中的损失函数推导提供原则性且明确的方法。
• 通过模糊逻辑松弛整合符号知识，解决深度学习中的数据效率挑战。
• 为监督学习中广泛使用的交叉熵损失提供理论基础。
• 将损失函数公式化从标准监督学习扩展至可由一阶逻辑表示的各种先验知识形式。

提出的方法

• 本文提出一个正式框架，通过模糊逻辑（特别是t-范数生成器）将一阶逻辑知识映射为可微分形式。
• 损失函数作为所选t-范数生成器的直接结果被推导出来，确保一致性和明确性。
• 该框架可推广至所有可通过神经符号方法表示的知识，实现跨多种知识类型的统一损失公式化。
• 当限制在标准监督学习时，所推导的损失函数在特定t-范数选择下退化为交叉熵损失。
• 通过选择不同的t-范数生成器，可系统性设计新型损失函数，实现更快收敛的优化。
• 该方法在无需数据驱动归纳的前提下，将符号知识整合进深度学习，保持可解释性并减少数据需求。

实验结果

研究问题

• RQ1 如何通过模糊逻辑和t-范数，系统性地从符号知识推导出神经符号学习的损失函数？
• RQ2 交叉熵损失在深度学习中有效性的理论依据是什么？它如何从t-范数框架中自然产生？
• RQ3 能否建立一种统一的损失函数公式化方法，同时适用于监督学习和具有符号先验的知识增强学习？
• RQ4 基于不同t-范数生成器推导出的损失函数在收敛速度和模型性能方面有何比较？
• RQ5 该框架在多大程度上可减少深度学习对大规模标注数据集的依赖？

主要发现

• 神经符号学习任务的损失函数可由t-范数生成器的选择唯一确定，确保理论一致性和明确性。
• 该框架在使用乘积t-范数时，原则性地推导出交叉熵损失作为特例，解释了其在深度学习中经验成功的根源。
• 实验结果表明，所提出的损失函数相比文献中现有方法具有更快的收敛速度。
• 该方法能有效将符号知识整合进深度学习模型，减少对大规模标注数据的依赖。
• 理论工具支持扩展至所有可通过神经符号方法表示的知识，实现统一的优化框架。
• 可微分模糊逻辑使端到端训练深度网络成为可能，同时保持逻辑约束和先验知识。