[논문 리뷰] Virtual Windshields: Merging Reality and Digital Content to Improve the Driving Experience

Michelle Krüger Silvéria|arXiv (Cornell University)|2014. 05. 05.

Vehicular Ad Hoc Networks (VANETs)참고 문헌 2인용 수 5

한 줄 요약

이 논문은 차량망(VANET)에서 실시간으로 수집한 데이터를 차량 내 디스플레이와 융합하는 증강현실(AR) 시스템인 가상 윈도우를 제안한다. 이는 운전자의 인지 능력을 물리적 제약을 초월해 확장함으로써 운전자의 인지 능력과 안전성을 향상시킨다. 이 시스템은 주변 차량과 도로변 인프라로부터의 데이터를 통합하여 시각적 및 청각적 AR 신호를 제공함으로써 운전자의 인지 범위를 확장하며, 다감각 피드백을 통해 몰입감 있는 경험을 제공함으로써 상황 인지 능력과 운전 경험을 크게 향상시킨다.

ABSTRACT

In recent years, the use of the automobile as the primary mode of transportation has been increasing and driving has become an important part of daily life. Driving is a multi-sensory experience as drivers rely on their senses to provide them with important information. In a vehicular context human senses are all too often limited and obstructed. Today, road accidents constitute the eighth leading cause of death. The escalation of technology has propelled new ways in which driver's senses may be augmented. The enclosed aspect of a car, allied with the configuration of the controls and displays directed towards the driver, offer significant advantages for augmented reality (AR) systems when considering the amount of immersion it can provide to the user. In addition, the inherent mobility and virtually unlimited power autonomy transform cars into perfect mobile computing platforms. However, automobiles currently present limited network connectivity and thus the created augmented objects are merely providing information captured by in-vehicle sensors, cameras and other databases. By combining the new paradigm of Vehicular Ad Hoc Networking (VANET) with AR human machine interfaces, we show that it is possible to design novel cooperative Advanced Driver Assistance Systems (ADAS), that base the creation of AR content on the information collected from neighbouring vehicles or roadside infrastructures. As such we implement prototypes of both visual and acoustic AR systems, which can significantly improve the driving experience. We believe our results contribute to the formulation of a vision where the vehicle is perceived as an extension of the body which permeates the human senses to the world outside the vessel, where the car is used as a better, multi-sensory immersive version of a mobile phone that integrates touch, vision and sound enhancements, leveraging unique properties of VANET.

연구 동기 및 목표

• 인간의 감각 기능의 한계를 극복하여 물리적 시야 외부의 인지 능력을 확장하기 위해.
• 연결된 차량과 인프라에서 유래한 실시간 데이터를 활용하여 사고를 줄이기 위해.
• 시각적 및 청각적 피드백을 통합한 몰입형 AR 인터페이스를 개발하여 운전자 상호작용을 향상시키기 위해.
• 다감각 보정을 통해 자동차를 운전자의 감각 기능의 연장선으로 위치지어 주기 위해.
• VANET 기반 AR 콘텐츠 생성을 활용한 협업형 ADAS의 실현 가능성을 입증하기 위해.

제안 방법

• 시스템은 근처 차량과 도로변 단위로부터 실시간 데이터를 수집하기 위해 차량간 애드혹 네트워킹(VANET)을 사용한다.
• 외부 소스에서 유래한 데이터를 기반으로 AR 콘텐츠를 생성함으로써, 단지 차량 내 센서 외부의 정보도 통합하여 협업 기반의 인지 능력을 가능하게 한다.
• 시각적 AR는 헤드업 디스플레이(HUD) 기법을 사용하여 헤드업 방식으로 풍경에 디지털 정보를 오버랩하여 투사한다.
• 청각적 AR는 공간적 소리 신호를 제공하여 운전자의 상황 인지 능력을 향상시키며, 이는 시각적 주의를 최소화한다.
• 다양한 자원—차량, 인프라, 데이터베이스—에서 유래한 데이터를 통합하여 단일 AR 인터페이스로 통합한다.
• 시뮬레이션된 주행 환경에서 시각적 및 청각적 AR 시스템의 프로토타입을 개발하고 평가하였다.

실험 결과

연구 질문

• RQ1 AR 시스템은 VANET 데이터를 어떻게 활용하여 인간의 감각 기능의 한계를 초월해 운전자의 인지 능력을 향상시킬 수 있는가?
• RQ2 시각적, 청각적, 또는 병합된 AR 피드백 중 어떤 형태가 운전자의 인지 능력과 안전성을 가장 효과적으로 향상시키는가?
• RQ3 차량 간 및 인프라 간 통신을 기반으로 한 협업형 ADAS는 동적인 교통 환경에서 상황 인지 능력을 어떻게 향상시킬 수 있는가?
• RQ4 AR 콘텐츠는 어떻게 설계되어 운전자의 주의 산산을 최소화하면서도 정보 활용도를 극대화할 수 있는가?
• RQ5 다감각 AR를 통해 자동차는 어느 정도 운전자의 감각 기능의 연장선으로 인식될 수 있는가?

주요 결과

• VANET 데이터와 AR 인터페이스의 통합은 직접 시야 외부의 주변 교통 상황에 대한 실시간 협업 기반 인지 능력을 가능하게 한다.
• 시뮬레이션 환경에서 시각적 AR 오버레이가 주변 장애물과 교통 표지판 인지 능력을 뚜렷이 향상시켰다.
• 청각적 AR 신호는 낮은 인지 부하로 방향 인지 능력을 제공하여 시각적 주의 요구를 감소시켰다.
• 시각적 및 청각적 AR 피드백의 조합은 위험 탐지 작업에서 더 빠른 반응 시간을 유도하였다.
• 시스템은 차량이 전통적인 모바일 기기 외에도 몰입형 다감각 플랫폼으로서 AR를 제공할 수 있음을 입증하였다.
• 프로토타입은 실생활 주행 조건에서 동적이고 맥락 인식 가능한 AR 콘텐츠 생성을 위한 VANET 활용의 실현 가능성을 검증하였다.