[논문 리뷰] DADA: A Large-scale Benchmark and Model for Driver Attention Prediction in Accidental Scenarios.

Jianwu Fang, Dingxin Yan외 2명|arXiv (Cornell University)|2019. 12. 18.

Visual Attention and Saliency Detection참고 문헌 54인용 수 19

한 줄 요약

이 논문은 정상, 위기 및 사고 교통 상황을 포함한 다양한 상황에서 운전자의 주의를 예측하기 위한 2000개의 영상 시퀀스를 포함한 대규모 벤치마크인 DADA-2000을 소개한다. 또한, 공간-시간적 의미와 환경 변화를 모델링하는 다중 경로 의미 유도 주의 병합 네트워크(MSAFNet)를 제안하며, 고정, 사시드, 집중 시간, 사고 물체 및 카테고리 등의 상세한 애너테이션을 바탕으로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Driver attention prediction has recently absorbed increasing attention in traffic scene understanding and is prone to be an essential problem in vision-centered and human-like driving systems. This work, different from other attempts, makes an attempt to predict the driver attention in accidental scenarios containing normal, critical and accidental situations simultaneously. However, challenges tread on the heels of that because of the dynamic traffic scene, intricate and imbalanced accident categories. With the hypothesis that driver attention can provide a selective role of crash-object for assisting driving accident detection or prediction, this paper designs a multi-path semantic-guided attentive fusion network (MSAFNet) that learns the spatio-temporal semantic and scene variation in prediction. For fulfilling this, a large-scale benchmark with 2000 video sequences (named as DADA-2000) is contributed with laborious annotation for driver attention (fixation, saccade, focusing time), accident objects/intervals, as well as the accident categories, and superior performance to state-of-the-arts are provided by thorough evaluations. As far as we know, this is the first comprehensive and quantitative study for the human-eye sensing exploration in accidental scenarios. DADA-2000 is available at this https URL.

연구 동기 및 목표

• 정상, 위기 및 사고 조건을 포함한 다양한 교통 상황에서 운전자의 주의를 예측하기 위한 종합적이고 대규모의 데이터셋 부족 문제를 해결하기 위해.
• 동적인 교통 환경에서 복잡한 공간-시간적 의미와 환경 변화를 포착할 수 있는 딥 러닝 모델을 개발하기 위해.
• 고정, 사시드, 집중 시간, 사고 물체 등 상세하고 다중 수준의 애너테이션을 통해 사고 관련 맥락에서 인간의 눈 감지 행동을 정량적으로 분석할 수 있도록 하기 위해.
• 시각 중심의 인간과 유사한 주행 시스템의 개발 및 평가를 지원하는 벤치마크를 구축하기 위해.

제안 방법

• 영상 입력에서 다중 척도 공간-시간적 특징을 통합하기 위해 다중 경로 의미 유도 주의 병합 네트워크(MSAFNet)를 설계하기 위해.
• 사고 예측에 핵심적인 관련 시각적 신호와 환경 변화를 동적으로 강조하기 위해 주의 메커니즘을 활용하기 위해.
• 운전자의 주의(고정, 사시드, 집중 시간), 사고 물체 및 사고 카테고리 등에 대한 인간 애너테이션을 포함한 대규모 영상 데이터셋(DADA-2000)을 활용하기 위해.
• 다양한 교통 조건에서 운전자의 주의를 예측하기 위해 DADA-2000에서 MSAFNet 모델을 엔드 투 엔드로 훈련하기 위해.
• 다양하고 복잡한 교통 상황에서의 강건성을 향상시키기 위해 환경 변화 모델링을 통합하기 위해.
• 새로운 벤치마크에서 최신 기술 수준의 방법들과의 종합적 평가를 통해 모델을 검증하기 위해.

실험 결과

연구 질문

• RQ1 통합 프레임워크 내에서 정상, 위기 및 사고 교통 상황 전반에 걸쳐 운전자의 주의를 효과적으로 예측할 수 있는 방법은 무엇인가?
• RQ2 공간-시간적 의미 이해는 동적인 교통 환경에서 주의 예측 정확도 향상에 어떤 역할을 하는가?
• RQ3 다중 경로 주의 병합 네트워크는 기존 모델 대비 얼마나 우수한 성능을 보이며, 환경 변화와 사고 관련 자극을 효과적으로 포착할 수 있는가?
• RQ4 고정, 사시드, 집중 시간, 사고 물체 등 상세하고 다중 수준의 애너테이션을 포함함으로써 모델 성능 향상과 해석 가능성은 어떻게 향상되는가?
• RQ5 DADA-2000처럼 대규모이고 다양한 특성을 가진 벤치마크는 운전자의 주의 예측 모델에 대해 더 신뢰성 있고 일반화된 평가를 가능하게 하는가?

주요 결과

• 제안된 MSAFNet 모델은 DADA-2000 벤치마크에서 최신 기술 수준의 방법들보다 뛰어난 성능을 보이며, 다양한 교통 상황에서 운전자의 주의를 예측하는 데 정확도가 향상됨을 입증하였다.
• 다중 경로 특징 추출과 의미 유도 주의 메커니즘의 통합은 사고 관련 시각적 자극을 탐지하는 데 모델의 능력을 크게 향상시켰다.
• DADA-2000 벤치마크는 고정, 사시드, 집중 시간, 사고 물체 및 카테고리 등 상세한 애너테이션을 포함한 종합적이고 대규모의 자원을 제공하여 보다 세밀한 분석을 가능하게 하였다.
• 모델는 불균형한 사고 카테고리 상황에서도 강건한 성능을 보이며, 주의 기반 특징 학습을 통해 클래스 불균형 문제를 효과적으로 처리함을 시사하였다.
• 본 연구는 사고 상황에서 인간의 눈 감지 행동에 대한 첫 번째 종합적이고 정량적인 탐구를 수립하였으며,未래 연구의 새로운 기준을 설정하였다.