[论文解读] Knowledge Augmented Machine Learning with Applications in Autonomous Driving: A Survey

Julian Wörmann, Daniel Bogdoll+50 more|arXiv (Cornell University)|May 10, 2022

Machine Learning and Data Classification被引用 14

一句话总结

本综述提出知识增强机器学习（KAML），通过整合外部知识来提升自动驾驶中数据驱动模型的性能，从而在数据稀缺或安全关键场景下增强泛化能力和可靠性。该综述将KAML方法分类为知识融合、知识提取与知识一致性三类，展示了结构化知识如何缓解数据稀缺问题，并提升真实部署中模型的可信度。

ABSTRACT

The availability of representative datasets is an essential prerequisite for many successful artificial intelligence and machine learning models. However, in real life applications these models often encounter scenarios that are inadequately represented in the data used for training. There are various reasons for the absence of sufficient data, ranging from time and cost constraints to ethical considerations. As a consequence, the reliable usage of these models, especially in safety-critical applications, is still a tremendous challenge. Leveraging additional, already existing sources of knowledge is key to overcome the limitations of purely data-driven approaches. Knowledge augmented machine learning approaches offer the possibility of compensating for deficiencies, errors, or ambiguities in the data, thus increasing the generalization capability of the applied models. Even more, predictions that conform with knowledge are crucial for making trustworthy and safe decisions even in underrepresented scenarios. This work provides an overview of existing techniques and methods in the literature that combine data-driven models with existing knowledge. The identified approaches are structured according to the categories knowledge integration, extraction and conformity. In particular, we address the application of the presented methods in the field of autonomous driving.

研究动机与目标

• 解决纯数据驱动模型在自动驾驶中的局限性，特别是在数据稀疏或安全关键场景下的表现。
• 识别并分类将外部知识整合到机器学习中的方法，以应对数据稀缺与分布偏移问题。
• 系统性分析知识增强方法在三大支柱上的应用：知识融合、知识提取与知识一致性。
• 展示KAML在自动驾驶中的实际影响，其中可靠且可解释的决策对安全性至关重要。
• 全面概述知识增强学习在真实世界AI部署中的前沿技术与开放挑战。

提出的方法

• 将现有KAML技术划分为三大核心组件：知识融合（如整合符号规则、知识图谱或约束条件）、知识提取（如从预训练模型或专家系统中蒸馏知识）以及知识一致性（如强制逻辑一致性或物理合理性）。
• 调研通过架构约束、损失函数或注意力机制将先验知识嵌入神经网络的方法，以提升泛化能力。
• 解释知识图谱与符号推理在自动驾驶系统中引导表征学习与决策制定的应用方式。
• 回顾确保模型预测与领域特定知识（如交通规则、基于物理的动力学或场景语义）对齐的技术。
• 分析结合深度学习与符号AI的混合学习框架，包括神经符号网络与可微逻辑模块。
• 评估不确定性量化与主动学习在降低标注成本的同时保持知识一致性的角色。

实验结果

研究问题

• RQ1 如何有效将外部知识整合到数据驱动模型中，以提升自动驾驶在数据稀缺或罕见事件场景下的鲁棒性？
• RQ2 从训练好的模型或专家系统中提取可解释知识的关键技术方法有哪些，以增强模型的透明度？
• RQ3 知识一致性机制在何种方式下可确保模型预测在分布外设置下保持逻辑一致与物理合理？
• RQ4 在自动驾驶应用中，知识增强模型相较于纯数据驱动模型在泛化能力、安全性与可靠性方面有何差异？
• RQ5 在面向真实世界、安全关键系统时，知识增强机器学习在规模化方面面临的主要挑战与开放研究问题是什么？

主要发现

• 知识增强模型通过减少对大规模标注数据集的依赖，在数据稀缺场景下显著提升了泛化能力。
• 整合领域知识（如交通规则或物理动力学）可带来更可靠且可解释的预测，尤其在罕见或模糊的驾驶情境中表现更优。
• 通过可微逻辑或约束优化等知识一致性方法，可增强模型在分布外情况下的鲁棒性并减少预测误差。
• 通过知识图谱与符号推理实现的知识融合，可提升模型的可解释性，并促进在安全关键系统中的调试与验证。
• 混合神经符号框架在结合深度学习的表征能力与符号AI的推理能力方面展现出巨大潜力。
• 尽管已取得进展，但在可扩展的知识获取、动态知识集成以及在实时自动驾驶系统中确保异构知识源之间的一致性方面，仍存在诸多挑战。