[论文解读] An Evaluation of Knowledge Graph Embeddings for Autonomous Driving Data: Experience and Practice

Ruwan Wickramarachchi, Cory Henson+1 more|arXiv (Cornell University)|Feb 29, 2020

Advanced Graph Neural Networks参考文献 14被引用 11

一句话总结

本文通过从NuScenes和Lyft-Level5数据集中生成具有不同信息详细程度的知识图（KGs），评估了知识图嵌入（KGEs）在自动驾驶数据中的表现，随后应用TransE、RESCAL和HoLE算法生成KGEs。主要发现是，更高的KG细节显著提升了嵌入质量，尤其是在捕捉类型和关系语义方面，其中TransE在语义表示方面优于其他算法。

ABSTRACT

The autonomous driving (AD) industry is exploring the use of knowledge graphs (KGs) to manage the vast amount of heterogeneous data generated from vehicular sensors. The various types of equipped sensors include video, LIDAR and RADAR. Scene understanding is an important topic in AD which requires consideration of various aspects of a scene, such as detected objects, events, time and location. Recent work on knowledge graph embeddings (KGEs) - an approach that facilitates neuro-symbolic fusion - has shown to improve the predictive performance of machine learning models. With the expectation that neuro-symbolic fusion through KGEs will improve scene understanding, this research explores the generation and evaluation of KGEs for autonomous driving data. We also present an investigation of the relationship between the level of informational detail in a KG and the quality of its derivative embeddings. By systematically evaluating KGEs along four dimensions -- i.e. quality metrics, KG informational detail, algorithms, and datasets -- we show that (1) higher levels of informational detail in KGs lead to higher quality embeddings, (2) type and relation semantics are better captured by the semantic transitional distance-based TransE algorithm, and (3) some metrics, such as coherence measure, may not be suitable for intrinsically evaluating KGEs in this domain. Additionally, we also present an (early) investigation of the usefulness of KGEs for two use-cases in the AD domain.

研究动机与目标

• 评估知识图（KG）信息详细程度对自动驾驶中知识图嵌入（KGEs）质量的影响。
• 评估主流KGE算法——TransE、RESCAL和HoLE——在不同KG变体和数据集上的有效性。
• 调查标准KGE评估指标在自动驾驶领域中的适用性。
• 探索KGE在自动驾驶中的实际应用，特别是场景/子场景理解与场景相似性计算。
• 建立一个系统化的框架，用于生成、评估和应用KGE于真实自动驾驶数据。

提出的方法

• 使用场景本体从NuScenes和Lyft-Level5数据集中构建以场景为中心的知识图，生成三种变体：基础KG、包含推断类型的KG，以及包含路径包含信息的KG（最高详细程度）。
• 采用三种最先进的算法将每种KG变体映射为KGEs：TransE（基于语义转移距离）、RESCAL（基于张量）和HoLE（基于分层关系）
• 通过多维评估框架在四个维度上评估KGE质量：质量度量、KG信息详细程度、KGE算法和数据集。
• 利用t-SNE可视化和余弦相似度分析，评估实体（如FoIs、事件）的聚类情况以及基于KGE向量的场景相似性。
• 结合内在评估（如一致性、平均排名）与外在评估（如场景聚类、相似性）来验证KGE性能。
• 系统性地比较不同KG详细程度下的KGE，以隔离语义丰富度对嵌入质量的影响。

实验结果

研究问题

• RQ1 知识图中信息详细程度的水平如何影响所生成知识图嵌入的质量？
• RQ2 在自动驾驶数据中，哪种知识图嵌入算法——TransE、RESCAL或HoLE——最能捕捉类型和关系语义？
• RQ3 像一致性这样的标准内在评估指标是否适用于自动驾驶领域中的KGE评估？
• RQ4 KGE能否有效支持场景理解任务，如子场景聚类和场景相似性计算？
• RQ5 从更丰富的KG中生成的KGE在真实自动驾驶用例中的性能提升程度如何？

主要发现

• 知识图中更高的信息详细程度显著提升了知识图嵌入的质量，尤其在捕捉类型和关系语义方面。
• 基于语义转移距离的TransE算法在NuScenes和Lyft数据集上均优于RESCAL和HoLE，更有效地捕捉了类型和关系语义。
• 在自动驾驶领域，常用于KGE评估的一致性指标并不适用，因其受异质实体聚类影响，导致值偏低且不稳定。
• 包含最高信息详细程度（包括路径信息）的KG能更好地基于场景/子场景关系聚类FoIs和事件，表明结构理解能力得到提升。
• 基于KGE的余弦相似度能有效识别语义上相似的子场景，即使视觉相似度较低，证明其在场景相似性计算中的实用性。
• 结果在两个不同的基准数据集（NuScenes和Lyft-Level5）上保持一致，表明研究发现具有推广性，适用于真实自动驾驶数据。