[논문 리뷰] Joint Attention in Driver-Pedestrian Interaction: from Theory to Practice

Amir Rasouli, John K. Tsotsos|arXiv (Cornell University)|2018. 02. 07.

Human-Automation Interaction and Safety참고 문헌 364인용 수 29

한 줄 요약

이 논문은 도시 교통 환경에서 자율주행차와 보행자 간의 상호작용을 향상시키기 위해 공유 주의(shared attention)와 비언어적 의사소통을 모델링하는 통합 주의 프레임워크를 제안한다. 센서 데이터와 행동 모델링을 활용하여 시각적 인식, 맥락적 추론, 의도 예측을 통합함으로써 실시간 보행자 횡단 예측과 협업 의사결정을 위한 임무 기반 접근법을 제공한다.

ABSTRACT

Today, one of the major challenges that autonomous vehicles are facing is the ability to drive in urban environments. Such a task requires communication between autonomous vehicles and other road users in order to resolve various traffic ambiguities. The interaction between road users is a form of negotiation in which the parties involved have to share their attention regarding a common objective or a goal (e.g. crossing an intersection), and coordinate their actions in order to accomplish it. In this literature review we aim to address the interaction problem between pedestrians and drivers (or vehicles) from joint attention point of view. More specifically, we will discuss the theoretical background behind joint attention, its application to traffic interaction and practical approaches to implementing joint attention for autonomous vehicles.

연구 동기 및 목표

• 도시 환경에서 자율주행차와 보행자 간의 효과적인 의사소통 메커니즘이 부족한 문제를 해결한다.
• 공유 주의와 맥락적 단서를 고려하지 못하는 현재의 보행자 행동 예측 시스템의 한계를 극복한다.
• 자율주행차가 공유 주의 메커니즘을 통해 보행자의 의도를 추론할 수 있도록 통합 프레임워크를 개발한다.
• 실시간 시각적 인식, 맥락적 추론, 비언어적 신호 분석(예: 눈맞춤, 머리 방향)을 통합하여 동적 교통 상호작용을 가능하게 한다.
• 이론적 공유 주의 모델과 자율주행 시스템에 대한 실용적 구현 간 격차를 메운다.

제안 방법

• 인간의 사회적 인지 기반 공유 주의 프레임워크를 도입하여 운전자와 보행자 간 상호 인지 상태를 모델링한다.
• 다중 모odal 센서 데이터(예: 카메라, LiDAR)를 사용하여 보행자, 차량, 교차로, 신호등 등의 환경적 특징을 탐지하고 추적한다.
• 데이터 기반 접근법에만 의존하지 않고, 임무의 관련성에 따라 주의를 동적으로 관심 영역에 집중시키는 시각적 주의 모델을 적용한다.
• 차량 속도, 보행자 머리 방향, 그룹 규모, 도로 기하학적 구조 등의 맥락적 요소를 의도 추정에 통합한다.
• 자세 추정과 활동 인식을 융합하여 보행자의 행동(예: 횡단, 대기)을 추론하고 향후 행동을 예측한다.
• 관찰된 단서(예: 눈맞춤, 제스처)를 의도와 연결하는 추론 모듈을 구현하여 교통 상호작용에서 협업 의사결정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 어떻게 공유 주의 메커니즘을 모델링하고 적용하여 자율주행차와 보행자 간의 상호작용을 향상시킬 수 있는가?
• RQ2 어떤 맥락적 및 행동적 단서(예: 눈맞춤, 머리 방향, 차량 접근 거리)가 보행자 횡단 의도를 가장 잘 예측하는가?
• RQ3 자율주행차는 실시간 교통 상황에서 비언어적 의사소통을 어떻게 효과적으로 해석할 수 있는가?
• RQ4 복잡하고 동적인 도시 환경에서 현재의 인식 및 의도 예측 시스템은 어떤 한계를 지니는가?
• RQ5 임무 기반 시각적 주의 모델은 실시간 주행 응용에서 데이터 기반 모델보다 어떻게 뛰어나게 할 수 있는가?

주요 결과

• 실제 환경 조건(예: 어두운 조명, 악천후)에서 현재의 보행자 탐지 및 활동 인식 알고리즘은 인간 수준의 성능에 못 미친다.
• 대부분의 기존 의도 추정 시스템은 강력한 시각적 인식 파이프라인과 통합되어 있지 않아 복잡한 장면에서 신뢰할 수 없는 예측을 유도한다.
• 눈맞춤, 머리 방향과 같은 비언어적 의사소통 단서는 보행자 횡단 행동을 강력하게 예측할 수 있지만, 현재 자율주행차 시스템에서는 미흡하게 활용되고 있다.
• 최신 알고리즘은 종종 시나리오 기반 또는 자연스럽지 않은 데이터로 훈련되어 있어 실제 교통 상황에 대한 일반화 능력이 제한된다.
• 신뢰할 수 있는 보행자 상호작용을 위해 인식, 추론, 공유 주의 모델링을 통합한 맥락 인지 시스템이 절실하게 필요하다.
• 기존 시스템은 신호등 제어가 있는 교차로와 없는 교차로, 좁은 길과 넓은 길 등 다양한 도시 환경 간에서 일반화에 실패하고 있다.