[논문 리뷰] Reliving the Dataset: Combining the Visualization of Road Users' Interactions with Scenario Reconstruction in Virtual Reality

Lars Töttel, Maximilian Zipfl외 3명|arXiv (Cornell University)|2021. 05. 04.

Autonomous Vehicle Technology and Safety참고 문헌 27인용 수 7

한 줄 요약

이 논문은 자연주의 주행 데이터셋을 분석하기 위한 이중 방법 접근법을 제시한다: 첫째, 의미적 장면 그래프와 임계도 측정치(예: TTC, RSS, SFF)를 사용하여 안전 기준을 초과하는 시나리오를 객관적으로 탐지하는 것; 둘째, 고해상도 가상현실(VR) 환경에서 이러한 시나리오를 재구성하여 몰입감 있는 시각 기반 주관적 분석을 수행하는 것. 주요 기여는 자동화된 코너 케이스 탐지와 다양한 운전자 시점에서의 동적 특성에 대한 깊이 있는 상호작용 탐색을 가능하게 하는 통합된 프레임워크를 제공한다는 점이다.

ABSTRACT

One core challenge in the development of automated vehicles is their capability to deal with a multitude of complex trafficscenarios with many, hard to predict traffic participants. As part of the iterative development process, it is necessary to detect criticalscenarios and generate knowledge from them to improve the highly automated driving (HAD) function. In order to tackle this challenge,numerous datasets have been released in the past years, which act as the basis for the development and testing of such algorithms.Nevertheless, the remaining challenges are to find relevant scenes, such as safety-critical corner cases, in these datasets and tounderstand them completely.Therefore, this paper presents a methodology to process and analyze naturalistic motion datasets in two ways: On the one hand, ourapproach maps scenes of the datasets to a generic semantic scene graph which allows for a high-level and objective analysis. Here,arbitrary criticality measures, e.g. TTC, RSS or SFF, can be set to automatically detect critical scenarios between traffic participants.On the other hand, the scenarios are recreated in a realistic virtual reality (VR) environment, which allows for a subjective close-upanalysis from multiple, interactive perspectives.

연구 동기 및 목표

• 대규모 자연주의 주행 데이터셋에서 희귀한 안전 기준을 초과하는 코너 케이스를 식별하는 데 도전하는 데 목적을 두며.
• 3D 환경에서 교통 참가자 간의 복잡한 시공간 상호작용을 시각화하는 데 한계가 있는 문제를 해결하는 데 목적을 두며.
• 비판적 시나리오의 객관적, 지표 기반 탐지와 운전자 시점에서의 주관적, 몰입형 분석을 모두 가능하게 하는 데 목적을 두며.
• 자동화된 데이터 분석과 인간 중심의 시나리오 이해 간 격차를 메우기 위한 HAD 개발을 위한 데 목적을 두며.
• TAF-BW, nuScenes, INTERACTION와 같은 다양한 데이터셋에 적용 가능한 모듈러하고 재사용 가능한 파이프라인을 제공하는 데 목적을 두며.

제안 방법

• 교통 상호작용의 고수준 객관적 분석을 가능하게 하기 위해 자연주의 운동 데이터셋을 일반화된 의미적 장면 그래프로 매핑하는 것.
• 의미적 장면 그래프 내에서 여러 임계도 측정치(TTC, RSS, SFF)를 적용하여 안전 기준을 초과하는 시나리오를 자동으로 표시하는 것.
• 실제 차량의 궤적과 고정밀 지도를 사용하여 검출된 비판적 장면을 고해상도 시뮬레이션 환경으로 재구성하는 것.
• 사용자가 관련 차량의 운전자 시점까지 포함해 어떤 시점에서든 시나리오를 탐색할 수 있도록 시뮬레이션을 VR 인터페이스와 통합하는 것.
• 전체 시간 제어 기능(재생, 일시정지, 뒤로 감기, 빠른 재생)을 통해 세부적인 주관적 시나리오 점검을 가능하게 하는 것.
• 향후 스마트 인프라 또는 자율주행 차량 데이터와의 통합을 고려해 온라인 데이터 스트림에 쉽게 확장할 수 있도록 모듈러 아키텍처를 사용하는 것.

실험 결과

연구 질문

• RQ1 대규모이고 복잡한 자연주의 주행 데이터셋에서 객관적 지표를 사용하여 비판적 교통 시나리오를 자동으로 탐지할 수 있는 방법은 무엇인가?
• RQ2 정적 2D 시각화에 비해 몰입형 VR 시각화가 교통 참가자 간의 상호작용 이해에 얼마나 향상시키는가?
• RQ3 객관적 분석과 주관적 VR 탐색의 조합이 자율주행에서의 코너 케이스 식별 및 해석을 향상시킬 수 있는가?
• RQ4 TTC, RSS, SFF와 같은 다양한 임계도 측정치를 효과적으로 통합하여 탐지 정확도와 시나리오의 관련성을 향상시킬 수 있는가?
• RQ5 고해상도 VR 환경에서 실제 도로 상황을 재구성하는 데 있어 HAD 시스템 개발에 어떤 추가 가치를 제공하는가?

주요 결과

• 객관적 분석 모듈은 한 차량이 인접 차선으로 약간 이탈하면서 서로 밀접하게 평행 이동하는 두 차량 간의 비판적 시나리오를 성공적으로 탐지했다.
• VR 재구성 덕분에 사용자는 양 차량의 운전자 시점에서 시나리오를 경험할 수 있었으며, 잠재적인 시야각 빈도 문제와 센서 노이즈 영향을 드러냈다.
• 몰입형 VR를 통해 사용자는 공간적·시간적 역학을 실시간으로 탐색할 수 있었으며, 시간 역행 및 정방향 탐색까지 가능해 상황 인식 능력이 향상되었다.
• 이 방법은 TAF-BW 데이터셋에서 코너 케이스를 탐지하고 재구성하는 데 성공했으며, 테슬라 모델3와 도도 캐러저 간의 잠재적 빈도 문제 시나리오를 드러냈다.
• TTC, RSS, SFF와 같은 객관적 지표와 VR 시각화의 통합은 자동 탐지와 인간 중심의 해석을 가능하게 하는 종합적인 분석 파이프라인을 제공했다.
• 모듈러 설계 덕분에 향후 취약한 도로 이용자(예: 규칙 위반 보행자)를 포함한 온라인 데이터 스트림 및 새로운 시나리오에 쉽게 확장 가능하다.