[論文レビュー] An Evaluation of Knowledge Graph Embeddings for Autonomous Driving Data: Experience and Practice

Ruwan Wickramarachchi, Cory Henson+1 more|arXiv (Cornell University)|Feb 29, 2020

Advanced Graph Neural Networks参考文献 14被引用数 11

ひとこと要約

本稿では、NuScenesおよびLyft-Level5データセットから、情報の詳細度を変化させた知識グラフ（KG）を生成し、そのKGをもとにTransE、RESCAL、HoLEアルゴリズムを用いて知識グラフ埋め込み（KGE）を評価する。主な発見は、より詳細なKGが、特にタイプおよび関係的意味を捉える上で顕著に埋め込み品質を向上させることであり、TransEが他のアルゴリズムに比べて意味的表現において優れていることである。

ABSTRACT

The autonomous driving (AD) industry is exploring the use of knowledge graphs (KGs) to manage the vast amount of heterogeneous data generated from vehicular sensors. The various types of equipped sensors include video, LIDAR and RADAR. Scene understanding is an important topic in AD which requires consideration of various aspects of a scene, such as detected objects, events, time and location. Recent work on knowledge graph embeddings (KGEs) - an approach that facilitates neuro-symbolic fusion - has shown to improve the predictive performance of machine learning models. With the expectation that neuro-symbolic fusion through KGEs will improve scene understanding, this research explores the generation and evaluation of KGEs for autonomous driving data. We also present an investigation of the relationship between the level of informational detail in a KG and the quality of its derivative embeddings. By systematically evaluating KGEs along four dimensions -- i.e. quality metrics, KG informational detail, algorithms, and datasets -- we show that (1) higher levels of informational detail in KGs lead to higher quality embeddings, (2) type and relation semantics are better captured by the semantic transitional distance-based TransE algorithm, and (3) some metrics, such as coherence measure, may not be suitable for intrinsically evaluating KGEs in this domain. Additionally, we also present an (early) investigation of the usefulness of KGEs for two use-cases in the AD domain.

研究の動機と目的

• 自動運転分野における知識グラフ（KG）の情報的詳細度が、知識グラフ埋め込み（KGE）の品質に与える影響を評価すること。
• 代表的なKGEアルゴリズム（TransE、RESCAL、HoLE）が、異なるKGバージョンおよびデータセットにおいてどれほど効果的であるかを評価すること。
• 標準的なKGE評価指標が自動運転分野において適切かどうかを検討すること。
• KGEの実用的応用、特にシーン／サブシーン理解およびシーン類似性計算の分野での有効性を調査すること。
• 実世界の自動運転データに適用可能な、KGEの生成・評価・応用を体系的に行うフレームワークを確立すること。

提案手法

• シーンオントロジーを用いて、NuScenesおよびLyft-Level5データセットからシーン中心の知識グラフを構築し、3つのバージョン（ベースKG、推論されたタイプを含むKG、最高の詳細度であるパス包含を含むKG）を生成した。
• 3つの最先端のアルゴリズム（TransE（意味的遷移距離に基づく）、RESCAL（テンソルベース）、HoLE（階層的関係に基づく））を用いて、各KGバージョンをKGEにマッピングした。
• 4つの軸（品質指標、KGの情報的詳細度、KGEアルゴリズム、データセット）にわたる多次元フレームワークを用いて、KGEの品質を評価した。
• t-SNE可視化およびコサイン類似度分析を用いて、エンティティ（例：注目対象（FoI）、イベント）のクラスタリングおよびKGEベクトルに基づくシーン類似性を評価した。
• 内在的評価（例：整合性、平均順位）と外在的評価（例：シーンクラスタリング、類似性）を組み合わせて、KGEのパフォーマンスを検証した。
• KGEを異なるKGの詳細度レベルで体系的に比較し、埋め込み品質に与える意味的豊かさの影響を明確にした。

実験結果

リサーチクエスチョン

• RQ1 知識グラフにおける情報的詳細度のレベルが、導出された知識グラフ埋め込みの品質にどのように影響するか。
• RQ2 自動運転データにおいて、タイプおよび関係的意味を最も的確に捉えるKGEアルゴリズムは、TransE、RESCAL、HoLEの中のどれか。
• RQ3 整合性などの標準的な内在的評価指標は、自動運転分野におけるKGEの評価に適しているか。
• RQ4 KGEは、サブシーンクラスタリングやシーン類似性計算といったシーン理解タスクを効果的に支援できるか。
• RQ5 より豊富なKGから導出されたKGEは、実際の自動運転ユースケースにおいてどれほどパフォーマンスを向上させるか。

主な発見

• 知識グラフにおける情報的詳細度が高くなるほど、埋め込み品質が顕著に向上し、特にタイプおよび関係的意味を捉える能力が向上する。
• 意味的遷移距離に基づくTransEアルゴリズムが、NuScenesおよびLyftデータセットの両方で、RESCALおよびHoLEを上回り、タイプおよび関係的意味を優れた精度で捉えている。
• KGE評価で一般的に用いられる整合性指標は、自動運転分野における内在的評価には不適切である。これは、多様なエンティティのクラスタリングによって、値が低くかつ一貫性がないためである。
• パス情報まで含む最高の情報的詳細度を持つKGは、シーン／サブシーン関係に基づいてFoIやイベントのクラスタリングをより良く行うことができ、構造的理解が向上していることを示している。
• KGEに基づくコサイン類似度は、視覚的類似性が低くても、意味的に類似したサブシーンを効果的に特定でき、シーン類似性計算における有効性を示している。
• 結果は、2つの異なるベンチマークデータセット（NuScenesおよびLyft-Level5）で一貫しており、実世界の自動運転データへの一般化可能性が示唆されている。