[논문 리뷰] An Evaluation of Knowledge Graph Embeddings for Autonomous Driving Data: Experience and Practice

Ruwan Wickramarachchi, Cory Henson외 1명|arXiv (Cornell University)|2020. 02. 29.

Advanced Graph Neural Networks참고 문헌 14인용 수 11

한 줄 요약

이 논문은 NuScenes와 Lyft-Level5 데이터셋에서 다양한 정보 세부 수준을 가진 지식 그래프(KG)를 생성한 후, TransE, RESCAL, HoLE 알고리즘을 적용하여 지식 그래프 임베딩(KGEs)을 평가한다. 주요 발견은 더 높은 KG 세부 수준이 임베딩 품질을 크게 향상시키며, 특히 유형과 관계 의미를 포착하는 데 유리하다는 것으로, TransE가 다른 알고리즘보다 의미 표현에서 뛰어나다는 점이다.

ABSTRACT

The autonomous driving (AD) industry is exploring the use of knowledge graphs (KGs) to manage the vast amount of heterogeneous data generated from vehicular sensors. The various types of equipped sensors include video, LIDAR and RADAR. Scene understanding is an important topic in AD which requires consideration of various aspects of a scene, such as detected objects, events, time and location. Recent work on knowledge graph embeddings (KGEs) - an approach that facilitates neuro-symbolic fusion - has shown to improve the predictive performance of machine learning models. With the expectation that neuro-symbolic fusion through KGEs will improve scene understanding, this research explores the generation and evaluation of KGEs for autonomous driving data. We also present an investigation of the relationship between the level of informational detail in a KG and the quality of its derivative embeddings. By systematically evaluating KGEs along four dimensions -- i.e. quality metrics, KG informational detail, algorithms, and datasets -- we show that (1) higher levels of informational detail in KGs lead to higher quality embeddings, (2) type and relation semantics are better captured by the semantic transitional distance-based TransE algorithm, and (3) some metrics, such as coherence measure, may not be suitable for intrinsically evaluating KGEs in this domain. Additionally, we also present an (early) investigation of the usefulness of KGEs for two use-cases in the AD domain.

연구 동기 및 목표

• 자율주행 분야에서 지식 그래프(KG)의 정보 세부 수준이 지식 그래프 임베딩(KGE) 품질에 미치는 영향을 평가하기 위해.
• TransE, RESCAL, HoLE와 같은 인기 있는 KGE 알고리즘들이 다양한 KG 유형과 데이터셋에서 얼마나 효과적인지 평가하기 위해.
• 표준 KGE 평가 지표가 자율주행 도메인에서 적합한지 검토하기 위해.
• KGE의 실용적 응용 가능성을 탐색하기 위해, 특히 장면/하위 장면 이해 및 장면 유사성 계산과 같은 작업에 활용 가능한지 살펴보기 위해.
• 실세계 자율주행 데이터에 적용 가능한 지식 그래프 임베딩의 체계적 프레임워크를 수립하기 위해.

제안 방법

• 장면 온톨로지를 사용하여 NuScenes와 Lyft-Level5 데이터셋에서 장면 중심의 지식 그래프를 구축하였으며, 세 가지 유형으로 나누어진다: 기본 KG, 추론된 유형이 포함된 KG, 경로 포함(가장 높은 세부 수준) KG.
• 세 가지 최신 알고리즘인 TransE(의미 전이 기반), RESCAL(텐서 기반), HoLE(계층적 관계 기반)를 사용하여 각 KG 유형을 KGE로 매핑하였다.
• 네 가지 축(품질 지표, KG 정보 세부 수준, KGE 알고리즘, 데이터셋)을 기반으로 다차원 평가 프레임워크를 통해 KGE 품질을 평가하였다.
• t-SNE 시각화와 코사인 유사도 분석을 통해 엔티티(예: FoIs, 이벤트)의 군집화 및 KGE 벡터 기반의 장면 유사성 평가를 수행하였다.
• 내재 평가(예: 일관성, 평균 순위)와 외재 평가(예: 장면 군집화, 유사도)를 조합하여 KGE 성능을 검증하였다.
• 다양한 KG 세부 수준 간의 KGE를 체계적으로 비교하여 의미적 풍부함이 임베딩 품질에 미치는 영향을 분리 분석하였다.

실험 결과

연구 질문

• RQ1 지식 그래프의 정보 세부 수준이 유도된 지식 그래프 임베딩의 품질에 어떤 영향을 미치는가?
• RQ2 TransE, RESCAL, HoLE 중 어떤 알고리즘이 자율주행 데이터에서 유형과 관계 의미를 가장 잘 포착하는가?
• RQ3 일관성과 같은 표준 내재 평가 지표는 자율주행 도메인에서 KGE 평가에 적합한가?
• RQ4 KGE는 하위 장면 군집화 및 장면 유사성 계산과 같은 장면 이해 작업을 효과적으로 지원할 수 있는가?
• RQ5 더 풍부한 KG에서 유도된 KGE는 실제 자율주행 사용 사례에서 성능을 얼마나 향상시키는가?

주요 결과

• 지식 그래프의 정보 세부 수준이 높을수록 지식 그래프 임베딩의 품질이 크게 향상되며, 특히 유형과 관계 의미를 포착하는 데 유리하다.
• 의미 전이 거리 기반의 TransE 알고리즘이 NuScenes 및 Lyft 데이터셋 전반에서 RESCAL 및 HoLE보다 유형과 관계 의미를 더 잘 포착한다.
• 일반적으로 KGE 평가에 사용되는 일관성 지표는 자율주행 도메인에서는 내재 평가에 적합하지 않으며, 이는 이질적인 엔티티 군집화로 인해 낮고 일관성 없는 값이 발생하기 때문이다.
• 경로 정보를 포함한 가장 높은 정보 세부 수준의 KG는 장면/하위 장면 관계 기반으로 FoIs 및 이벤트의 군집화를 향상시켜 더 나은 구조적 이해를 가능하게 한다.
• KGE 기반의 코사인 유사도는 시각적 유사도가 낮은 경우에도 의미적으로 유사한 하위 장면을 효과적으로 식별할 수 있으며, 이는 장면 유사성 계산에 실용성을 보여준다.
• 결과는 두 가지 다른 벤치마크 데이터셋(NuScenes 및 Lyft-Level5)에서 일관되며, 실세계 자율주행 데이터에 대한 결과의 일반화 가능성을 시사한다.