[논문 리뷰] Detecting Intentions of Vulnerable Road Users Based on Collective Intelligence

Maarten Bieshaar, Günther Reitberger외 4명|arXiv (Cornell University)|2018. 09. 11.

Transportation Systems and Logistics인용 수 9

한 줄 요약

이 논문은 보행자 및 자전거 운전자와 같은 취약 도로 이용자(VRUs)의 의도를 탐지하고 예측하기 위해 집단 지능을 활용하는 협업형 다중 에이전트 시스템을 제안한다. 지능형 차량, 인프라 센서, 착용형 장치에서 유입되는 데이터를 확률적 센서 및 지식 융합 기반으로 융합함으로써, 시스템은 인지 범위를 확장하고 가림현상과 일관성 없는 정보를 해결하며, 하이브리드 학습 및 분석 모델을 활용해 강인하고 실시간으로 의도 예측이 가능해져 혼합 교통 환경에서의 안전성과 교통 효율성을 크게 향상시킨다.

ABSTRACT

Vulnerable road users (VRUs, i.e. cyclists and pedestrians) will play an important role in future traffic. To avoid accidents and achieve a highly efficient traffic flow, it is important to detect VRUs and to predict their intentions. In this article a holistic approach for detecting intentions of VRUs by cooperative methods is presented. The intention detection consists of basic movement primitive prediction, e.g. standing, moving, turning, and a forecast of the future trajectory. Vehicles equipped with sensors, data processing systems and communication abilities, referred to as intelligent vehicles, acquire and maintain a local model of their surrounding traffic environment, e.g. crossing cyclists. Heterogeneous, open sets of agents (cooperating and interacting vehicles, infrastructure, e.g. cameras and laser scanners, and VRUs equipped with smart devices and body-worn sensors) exchange information forming a multi-modal sensor system with the goal to reliably and robustly detect VRUs and their intentions under consideration of real time requirements and uncertainties. The resulting model allows to extend the perceptual horizon of the individual agent beyond their own sensory capabilities, enabling a longer forecast horizon. Concealments, implausibilities and inconsistencies are resolved by the collective intelligence of cooperating agents. Novel techniques of signal processing and modelling in combination with analytical and learning based approaches of pattern and activity recognition are used for detection, as well as intention prediction of VRUs. Cooperation, by means of probabilistic sensor and knowledge fusion, takes place on the level of perception and intention recognition. Based on the requirements of the cooperative approach for the communication a new strategy for an ad hoc network is proposed.

연구 동기 및 목표

• 복잡한 교통 환경에서 보행자 및 자전거 운전자와 같은 취약 도로 이용자(VRUs)의 신뢰할 수 있는 탐지 및 의도 예측에 도전하는 것.
• 개별 차량의 센서 범위를 초월해 협업적 정보 공유를 통해 차량의 인지 및 예측 범위를 연장하는 것.
• 이질적인 에이전트로부터의 집단 지능을 통해 가림현상, 불확실성 및 일관성 없는 탐지 문제를 해결하는 것.
• 실시간 요구 조건을 충족하기 위해 인지 및 의도 인식 수준에서 확률적 센서 및 지식 융합을 통합함으로써 동적인 교통 환경에서의 복잡한 시나리오에 대응하는 것.
• 지능형 교통 시스템에서 협업형 VRU 의도 탐지에 특화된 새로운 애드혹 통신 전략을 개발하는 것.

제안 방법

• 지능형 차량, 도로변 인프라(카메라, 레이저 스캐너), 그리고 스마트 장치 및 신체에 부착된 센서를 장착한 VRUs로부터의 데이터를 다중 모odal 센서 네트워크에 통합한다.
• 기본 운동 프리미티브(예: 정지, 이동, 회전)는 분석적 접근과 학습 기반 접근을 융합한 하이브리드 신호 처리 및 모델링 기법을 통해 예측한다.
• 의도 예측은 다중 소스 센서 데이터 및 맥락 지식의 확률적 융합을 통한 궤적 예측을 통해 달성된다.
• 협업 프레임워크를 통해 에이전트 간 실시간 인지 및 의도 인식 융합이 가능해지며, 집단적 추론을 통해 은폐 현상과 비합리적인 예측을 해결한다.
• 다양한 교통 조건에서 실시간으로 저지연, 신뢰성 있는 데이터 교환을 지원하기 위해 새로운 애드혹 통신 전략이 제안된다.
• 불확실성과 부분 관측 상황에서도 일관되고 강인한 VRU 행동 모델을 유지하기 위해 확률적 센서 및 지식 융합 기법을 활용한다.

실험 결과

연구 질문

• RQ1 개별 차량의 센서 범위를 초월해 VRU 의도 탐지 성능을 향상시키기 위해 어떻게 인지 및 예측 범위를 연장할 수 있는가?
• RQ2 가림현상, 불확실성, 센서 노이즈 조건 하에서 VRU 및 그들의 의도를 신뢰성 있게 탐지할 수 있는 메커니즘은 무엇인가?
• RQ3 차량, 인프라, VRUs로 구성된 이질적 에이전트들이 어떻게 효과적으로 협업하여 일관성 없는 탐지 문제를 해결하고 전체 시스템의 강인성을 향상시킬 수 있는가?
• RQ4 분산된 에이전트 간 실시간 저지연 데이터 교환을 지원하기 위해 어떤 통신 전략이 협업형 VRU 의도 예측에 적합한가?
• RQ5 집단 지능은 개별 에이전트 시스템 대비 VRU 의도 예측의 정확성과 신뢰성에 얼마나 기여하는가?

주요 결과

• 집단 지능 프레임워크는 개별 에이전트의 인지 범위를 초월해 VRU 궤적에 대한 장기 예측 가능성을 확보함으로써 성공적으로 확장되었다.
• 다양한 에이전트 간의 정보 공유 및 융합을 통해 VRU 탐지에서 발생하는 가림현상과 일관성 없는 문제를 효과적으로 해결하여 탐지 강인성이 향상되었다.
• 패턴 및 활동 인식을 위한 학습 기반 및 분석 기반 방법의 통합은 운동 프리미티브 및 의도 예측 정확도를 향상시켰다.
• 제안된 애드혹 통신 전략은 실시간 데이터 교환을 지원하여 동적인 교통 환경에서의 엄격한 지연 요구 조건을 충족시켰다.
• 인지 및 의도 인식 수준에서의 확률적 센서 및 지식 융합은 불확실성과 부분 관측 상황에서도 시스템 신뢰성을 크게 향상시켰다.
• 복잡한 실제 교통 환경에서 VRU 행동 탐지 및 예측 능력이 향상되어 더 안전하고 효율적인 교통 흐름에 기여함을 입증하였다.