[논문 리뷰] nuReality: A VR environment for research of pedestrian and autonomous vehicle interactions

Paul Schmitt, Nicholas Britten외 12명|arXiv (Cornell University)|2022. 01. 12.

Video Surveillance and Tracking Methods인용 수 5

한 줄 요약

nuReality는 도심 교차로에서 보행자와 자율주행차(AV) 간 상호작용을 연구하기 위해 설계된 오픈소스 가상현실 환경이며, 몰입감 있고 고해상도 시뮬레이션을 통해 의도 전달을 향상시키기 위해 조명 바, 표현적 감속, 코 날개 떨어짐 동작 등의 표현적 차량 행동을 테스트합니다. 이 플랫폼은 제어 가능하고 안전하며 생태학적으로 타당한 AV 행동 테스트를 가능하게 하여 보행자의 신뢰도와 안전도를 향상시킵니다.

ABSTRACT

We present nuReality, a virtual reality 'VR' environment designed to test the efficacy of vehicular behaviors to communicate intent during interactions between autonomous vehicles 'AVs' and pedestrians at urban intersections. In this project we focus on expressive behaviors as a means for pedestrians to readily recognize the underlying intent of the AV's movements. VR is an ideal tool to use to test these situations as it can be immersive and place subjects into these potentially dangerous scenarios without risk. nuReality provides a novel and immersive virtual reality environment that includes numerous visual details (road and building texturing, parked cars, swaying tree limbs) as well as auditory details (birds chirping, cars honking in the distance, people talking). In these files we present the nuReality environment, its 10 unique vehicle behavior scenarios, and the Unreal Engine and Autodesk Maya source files for each scenario. The files are publicly released as open source at www.nuReality.org, to support the academic community studying the critical AV-pedestrian interaction.

연구 동기 및 목표

• 도심 교차로에서 자율주행차(AV)와 보행자 간 효과적인 소통을 해결하는 데 초점을 맞춥니다.
• 의도를 명확히 신호하는 표현적 AV 행동을 테스트하여 보행자의 불확실성을 줄이고 안전성을 향상시킵니다.
• 통제 가능하고 현실적인 몰입형 VR 환경을 제공하여 고해상도 인간 행동 반응을 연구할 수 있도록 합니다.
• 연구자들이 시나리오를 확장, 수정, 적응할 수 있도록 Unreal Engine 및 Maya 자산을 오픈소스로 제공합니다.
• 더 넓은 연구 공동체가 이해하기 쉬우며 직관적이며 신뢰할 수 있는 AV-보행자 상호작용을 발전시키는 데 기여합니다.

제안 방법

• 고해상도 시각적 및 청각적 세부 사항(텍스처 처리된 도로, 주차된 차량, 흔들리는 나무, 배경 음향)을 사용해 현실적인 4면 도심 교차로로 환경를 모델링합니다.
• 시나리오는 Autodesk Maya에서 개발하여 Unreal Engine으로 가져와 렲상 및 상호작용 로직을 구현합니다.
• 10종의 차량 행동 시나리오를 구현하였으며, 인간 운전 기준, AV 기준, 표현적 행동(조명 바, 사운드 신호, 코 날개 떨어짐 동작)이 포함됩니다.
• AV 모델은 라이다 및 레이더 센서를 갖추고 있으며, 승객이 보이지 않으며 인간 운전 차량과 외관상으로 뚜렷하게 다릅니다.
• VR 플랫폼은 제1인칭 보행자 시점 제공을 통해 참가자가 실제와 같은 경험을 할 수 있도록 합니다.
• 몰입감 있고 접근 가능한 VR 기술을 통해 실험 제어, 재현 가능성, 생태학적 타당성을 확보합니다.

실험 결과

연구 질문

• RQ1 표현적 AV 행동(예: 조명 바, 사운드 신호, 동작 과장)은 보행자가 차량의 의도를 어떻게 인지하게 하는가?
• RQ2 비언어적 AV 신호는 보행자가 횡단 결정을 내릴 때 얼마나 보행자의 자신감과 안전도를 향상시키는가?
• RQ3 인간 운전 패턴과 다름없는 AV 행동(예: 조기 정지, 코 날개 떨어짐)은 보행자의 신뢰도와 반응 시간에 어떤 영향을 미치는가?
• RQ4 VR 기반 시뮬레이션은 연구 목적을 위해 실제 세계의 보행자-AV 상호작용 역학을 효과적으로 재현할 수 있는가?
• RQ5 시각적 신호와 청각적 신호의 다양한 조합은 AV 의도를 명확하고 직관적으로 전달하는 데 어떻게 비교되는가?

주요 결과

• nuReality 플랫폼은 고해상도이고 몰입감 있는 VR 환경을 성공적으로 구축하여 장소 환영감과 현실성의 감각을 높였으며, 이로 인해 보다 진정성 있는 보행자 행동 반응이 유도되었습니다.
• 표현적 감속과 조명 바 애니메이션은 애니메이션 원칙(과장, 점진적 가속/감속)을 기반으로 설계되어 AV 행동의 직관성 향상에 기여했습니다.
• 과장된 브레이크 사운드와 저회전수 엔진 소리와 같은 청각적 신호가 의도 전달을 향상시키기 위한 방법으로 테스트되었습니다.
• 1인치 앞면 기울임 동작(코 날개 떨어짐)과 사운드 신호를 결합한 AV의 동작은 인간처럼 양보하는 행동을 모방하여 의도성의 인식을 향상시켰습니다.
• 이 플랫폼은 고도로 제어 가능하고 재현 가능한 실험을 통해 다양한 행동 변형을 테스트하고 비교할 수 있도록 지원합니다.
• Unreal Engine 및 Maya 소스 파일의 오픈소스 배포를 통해 연구자 공동체가 다양한 도시 환경과 문화적 배경에 맞게 시나리오를 확장하고 변형할 수 있습니다.