[논문 리뷰] Graph-based Topology Reasoning for Driving Scenes

Tianyu Li, Li Chen외 11명|arXiv (Cornell University)|2023. 04. 11.

Advanced Image and Video Retrieval Techniques인용 수 11

한 줄 요약

TopoNet은 Scene Graph Neural Network 및 Scene Knowledge Graph를 사용하여 장면 그래프에서 차선 연결성 및 차선-교통 요소 관계를 모델링함으로써 운전 장면에 대한 지각과 토폴로지 추론을 통합하는 엔드투엔드 프레임워크입니다.

ABSTRACT

Understanding the road genome is essential to realize autonomous driving. This highly intelligent problem contains two aspects - the connection relationship of lanes, and the assignment relationship between lanes and traffic elements, where a comprehensive topology reasoning method is vacant. On one hand, previous map learning techniques struggle in deriving lane connectivity with segmentation or laneline paradigms; or prior lane topology-oriented approaches focus on centerline detection and neglect the interaction modeling. On the other hand, the traffic element to lane assignment problem is limited in the image domain, leaving how to construct the correspondence from two views an unexplored challenge. To address these issues, we present TopoNet, the first end-to-end framework capable of abstracting traffic knowledge beyond conventional perception tasks. To capture the driving scene topology, we introduce three key designs: (1) an embedding module to incorporate semantic knowledge from 2D elements into a unified feature space; (2) a curated scene graph neural network to model relationships and enable feature interaction inside the network; (3) instead of transmitting messages arbitrarily, a scene knowledge graph is devised to differentiate prior knowledge from various types of the road genome. We evaluate TopoNet on the challenging scene understanding benchmark, OpenLane-V2, where our approach outperforms all previous works by a great margin on all perceptual and topological metrics. The code is released at https://github.com/OpenDriveLab/TopoNet

연구 동기 및 목표

• 지각을 넘어 운전 장면 토폴로지를 이해하기 위해 차선 연결성 및 TE-대 LC 할당을 공동으로 학습한다.
• 차선 중심선과 교통 요소의 시맨틱 지식을 통합된 특징 공간에 포함시킨다.
• 장면 그래프를 통해 명시적 메시지 전달을 가능하게 하여 중심선 및 교통 요소 표현을 다듬는다.

제안 방법

• 공유 특성 추출기를 가진 TE(교통 요소)와 LC(센터라인)를 처리하는 이중 분기 아키텍처.
• TE와 LC에 대해 변형 가능한 어텐션 쿼리 기반 디코더를 사용하는 인스턴스 쿼리; 공유 트랜스포머 기반 디코딩.
• LC와 TE 사이에서 두 개의 방향 그래프(G_ll 및 G_lt)에 대해 GCN으로 메시지를 전파하는 Scene Graph Neural Network(SGNN).
• TE 시맨틱을 LC 쿼리와의 상호 작용을 위한 통합 특징 공간으로 매핑하는 임베딩 네트워크.
• 유형별로 학습 가능한 가중치를 사용하고 TE 클래스 및 차선 선행/선행 관계 간의 prior 위상 지식을 주입하기 위한 Scene Knowledge Graph.
• TE 및 LC에 대한 탐지 손실과 LC-LC 및 LC-TE 관계에 대한 토폴로지 손실; 감독을 위한 Hungarian 매칭을 포함한 손실들.

실험 결과

연구 질문

• RQ1 다중 뷰 이미지로부터 전통적 인식 작업을 넘어 운전 장면 토폴로지를 어떻게 정확하게 추론할 수 있는가?
• RQ2 명시적 토폴로지 Priors를 사용하여 차선 연결성 및 차선-교통 요소 할당을 그래프 기반 네트워크가 함께 추론할 수 있는가?
• RQ3 명시적 Scene Knowledge Graph를 통합하면 운전 장면에서 토폴로지 추론 및 인식 정확도가 향상되는가?

주요 결과

• TopoNet은 OpenLane-V2에서 지각 및 토폴로지 지표 모두에서 이전 방법들을 능가하며, 방향성 중심선 지각 및 토폴로지 추론에서 주목할 만한 향상을 보인다.
• 도전적인 토폴로지 추론 벤치마크에서 중심선 지각이 이전 방법 대비 15-84% 향상된다.
• SGNN 및 Scene Knowledge Graph를 도입할 때 BEV 분할 및 중심선 관련 지표에도 개선이 나타난다.
• 절단 연구(Ablation study)는 SGNN 설계와 지식 그래프가 특징 간 상호 작용 및 토폴로지 예측을 향상시키는 효과를 검증한다.
• 이 접근 방식은 변형 가능한 어텐션과 BEV 변환을 갖춘 ResNet-50 백본을 사용하여 강력한 성능을 달성한다.