[논문 리뷰] Joint Attention in Autonomous Driving (JAAD)

Iuliia Kotseruba, Amir Rasouli외 1명|arXiv (Cornell University)|2016. 09. 15.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 83

한 줄 요약

이 논문은 자율주행 차량에서 운전사, 보행자, 자전거 운전수 간의 공동 주의 행동을 촬영한 대규모이고 다양한 실생활 주행 장면을 담은 JAAD(Joint Attention in Autonomous Driving) 데이터셋을 소개한다. 이 데이터셋은 다양한 기상 조건, 장소, 인구 통계적 요소에서의 물리적 조건(예: 조도, 속도)과 행동적 배경을 포함한 바운딩 박스 레이블이 제공되며, 자율주행 환경에서의 시각적 복잡성과 사회적 상호작용을 향상된 이해를 가능하게 한다.

ABSTRACT

In this paper we present a novel dataset for a critical aspect of autonomous driving, the joint attention that must occur between drivers and of pedestrians, cyclists or other drivers. This dataset is produced with the intention of demonstrating the behavioral variability of traffic participants. We also show how visual complexity of the behaviors and scene understanding is affected by various factors such as different weather conditions, geographical locations, traffic and demographics of the people involved. The ground truth data conveys information regarding the location of participants (bounding boxes), the physical conditions (e.g. lighting and speed) and the behavior of the parties involved.

연구 동기 및 목표

• 자율주행 차량에서 교통 참가자 간의 공동 주의 행동을 포괄적이고 실생활 데이터로 촬영한 데이터셋의 부족을 해결하기 위해.
• 다양한 환경적 및 인구 통계적 조건에서 운전사, 보행자, 자전거 운전수의 행동 변동성을 모델링하기 위해.
• 자율주행 차량에서의 시각적 복잡성, 시나리오 이해, 사회적 상호작용 모델링 연구를 지원하는 풍부하게 레이블링된 데이터셋을 제공하기 위해.
• 다양하고 실생활의 동적인 주행 시나리오에서 높은 맥락적 변동성을 고려한 강력한 인식 시스템 개발을 가능하게 하기 위해.

제안 방법

• 다양한 도시와 기상 조건에서 도시 및 근교 환경에서 고해상도 카메라와 GPS/IMU 센서를 사용한 데이터 수집.
• 조도, 속도, 보행자/자전거 운전수 행동 등의 물리적 조건에 대한 메타데이터를 포함한 바운딩 박스를 사용한 교통 참가자 수동 레이블링.
• 다양한 인구 통계적 데이터(예: 연령, 성별)와 교통 밀도를 통합하여 실생활의 변동성을 반영하기 위해.
• 공동 주의 역학을 캡처하기 위한 구조화된 레이블링 파이프라인 설계, 특히 시선 방향과 상호작용 의도 포함.
• 복잡한 시각 조건에서의 행동 예측 및 시나리오 이해를 위한 모델 훈련 및 평가에 데이터셋 활용.
• 로봇공학 및 컴퓨터 비전 분야에서 자율주행 애플리케이션을 위한 알고리즘 벤치마킹에 데이터셋 적용.

실험 결과

연구 질문

• RQ1 기상 조건과 지리적 위치에 따라 교통 장면의 시각적 복잡성이 어떻게 변화하는가?
• RQ2 실생활 주행 시나리오에서 운전사와 보행자/자전거 운전수 간의 공동 주의에서 드러나는 행동 패턴은 무엇인가?
• RQ3 연령, 성별 등의 인구 통계적 요소와 교통 밀도가 공동 주의 행동에 어떤 영향을 미치는가?
• RQ4 공동 주의 레이블링이 자율주행 차량에서 행동 예측 및 시나리오 이해 정확도를 얼마나 향상시킬 수 있는가?
• RQ5 조도, 속도 등의 물리적 조건 통합이 복잡한 주행 환경에서 모델 성능을 어떻게 향상시키는가?

주요 결과

• JAAD 데이터셋은 기상 조건과 장소 조건에 따라 뚜렷한 차이를 보이는 공동 주의 패턴을 포함한 교통 참가자 간의 상당한 행동 변동성을 캡처한다.
• 비나 dense한 안개와 같은 악천후 조건과 높은 교통 밀도에서 시각적 복잡성이 크게 증가하여 인식 시스템 성능에 영향을 미친다.
• 조도와 속도와 같은 레이블된 물리적 조건은 관찰된 공동 주의 이벤트의 빈도와 유형과 강하게 상관관계가 있다.
• 보행자의 연령과 성별과 같은 인구 통계적 요소는 운전사와의 공동 주의 상호작용의 가능성과 성격에 영향을 미친다.
• 공동 주의 및 맥락적 신호를 통합한 모델은 행동 예측 작업에서 향상된 성능을 보인다.
• 다양한 실생활 시나리오의 통합은 JAAD로 훈련된 인식 모델의 일반화 능력을 합성 또는 제한된 데이터셋보다 향상시킨다.