[论文解读] Informed Pre-Training on Prior Knowledge

Laura von Rueden, Sebastian Houben+3 more|arXiv (Cornell University)|May 23, 2022

Topic Modeling被引用 4

一句话总结

本文通过将形式化的知识表示（如图、方程或模板）转化为紧凑的知识原型，提出了一种基于先验知识的有知预训练方法，用于神经网络的预训练。该方法可加速收敛，在小样本图像分类任务中将泛化能力提升最高达11%，并使分布外鲁棒性提升15%。性能提升主要源于深层网络层中的高层次语义特征，表明其展现出一种与传统基于数据的预训练不同的新型语义迁移形式。

ABSTRACT

When training data is scarce, the incorporation of additional prior knowledge can assist the learning process. While it is common to initialize neural networks with weights that have been pre-trained on other large data sets, pre-training on more concise forms of knowledge has rather been overlooked. In this paper, we propose a novel informed machine learning approach and suggest to pre-train on prior knowledge. Formal knowledge representations, e.g. graphs or equations, are first transformed into a small and condensed data set of knowledge prototypes. We show that informed pre-training on such knowledge prototypes (i) speeds up the learning processes, (ii) improves generalization capabilities in the regime where not enough training data is available, and (iii) increases model robustness. Analyzing which parts of the model are affected most by the prototypes reveals that improvements come from deeper layers that typically represent high-level features. This confirms that informed pre-training can indeed transfer semantic knowledge. This is a novel effect, which shows that knowledge-based pre-training has additional and complementary strengths to existing approaches.

研究动机与目标

• 为解决在标注数据有限的情况下训练深度神经网络的挑战，通过整合结构化先验知识。
• 探究基于简洁、形式化知识表示的预训练是否能超越标准基于数据的预训练，提升模型性能。
• 探究基于知识的预训练是否传递语义性、高层次特征，而非低层次的视觉模式。
• 评估结合基于数据的（如ImageNet）与基于知识的预训练所带来的互补优势。
• 开发一种通用的、领域无关的方法，利用形式化知识作为原型初始化模型。

提出的方法

• 将形式化的先验知识（如图、方程或视觉模板）转化为小型、紧凑的知识原型数据集。
• 在真实、稀缺的训练数据微调之前，使用这些知识原型对神经网络进行预训练。
• 采用标准深度学习架构（如CNN），并通过分析各层对性能的贡献，应用迁移学习。
• 将基于知识原型的预训练效果与基线方法（包括随机初始化、ImageNet预训练及并行知识注入）进行对比。
• 将该方法应用于分类（GTSRB、MNIST、USPS）与回归（NOAA CO2）任务，以评估其泛化能力。
• 通过逐步冻结并迁移预训练模型的各层，分析特征迁移效果。

实验结果

研究问题

• RQ1 在形式化、简洁的知识原型上进行预训练，是否能提升低数据场景下的模型性能？
• RQ2 基于知识的预训练是否传递语义性、高层次特征，而非低层次视觉模式？
• RQ3 与传统基于数据的预训练相比，有知预训练在性能与层级贡献方面表现如何？
• RQ4 能否将基于知识的预训练与基于数据的预训练结合，以实现进一步性能提升？
• RQ5 所提出的方法是否适用于多种领域及不同类型的知识表示？

主要发现

• 在MNIST和GTSRB等小样本图像分类基准上，基于知识原型的预训练使测试准确率最高提升11%。
• 该方法使分布外鲁棒性提升15%，表明对未见数据分布的泛化能力更强。
• 性能提升主要由深层网络层驱动，这些层代表高层次语义特征，证实了语义知识的有效传递。
• 与标准预训练主要提升浅层不同，有知预训练增强了深层网络，揭示了一种新型的“有知迁移学习”机制。
• 将ImageNet预训练与后续的知识基预训练结合，使测试准确率额外提升13%，证明了二者优势互补。
• 该方法优于并行知识注入方法，且在用作预训练步骤时效果最佳，保留了对新数据的适应灵活性。