[논문 리뷰] Predicting Driver Attention in Critical Situations

Ye Xia, Danqing Zhang외 4명|arXiv (Cornell University)|2017. 11. 17.

Gaze Tracking and Assistive Technology참고 문헌 4인용 수 5

한 줄 요약

이 논문은 비판적인 주행 상황에서 운전사의 주의를 고품질로 스케일러블하게 애노테이션할 수 있도록 허용하는 새로운 실내 주행 주의 수집 프로토콜과 버클리 딥드라이브 어텐션(BDD-A) 데이터셋을 소개한다. 인간의 시선 행동을 기반으로 핵심 프레임을 우선순위에 두는 인간 가중 샘플링(HWS)을 사용함으로써, 저자들은 주의 예측에서 최신 기술 수준의 성능을 달성하는 딥러닝 모델을 훈련시켰으며, 이는 인지 능력과 일반화 능력 면에서 인간 수준의 유사성을 보였다.

ABSTRACT

Robust driver attention prediction for critical situations is a challenging computer vision problem, yet essential for autonomous driving. Because critical driving moments are so rare, collecting enough data for these situations is difficult with the conventional in-car data collection protocol---tracking eye movements during driving. Here, we first propose a new in-lab driver attention collection protocol and introduce a new driver attention dataset, Berkeley DeepDrive Attention (BDD-A) dataset, which is built upon braking event videos selected from a large-scale, crowd-sourced driving video dataset. We further propose Human Weighted Sampling (HWS) method, which uses human gaze behavior to identify crucial frames of a driving dataset and weights them heavily during model training. With our dataset and HWS, we built a driver attention prediction model that outperforms the state-of-the-art and demonstrates sophisticated behaviors, like attending to crossing pedestrians but not giving false alarms to pedestrians safely walking on the sidewalk. Its prediction results are nearly indistinguishable from ground-truth to humans. Although only being trained with our in-lab attention data, the model also predicts in-car driver attention data of routine driving with state-of-the-art accuracy. This result not only demonstrates the performance of our model but also proves the validity and usefulness of our dataset and data collection protocol.

연구 동기 및 목표

• 희귀한 비판적인 주행 이벤트에 대한 실내 운전사 주의 데이터의 부족성과 편향 문제를 해결하기 위해.
• 실제 주행 환경을 시뮬레이션하는 커뮤니티 기반의 운전 영상과 다중 관찰자 시선 평균을 활용해 실내에서의 스케일러블한 데이터 수집 프로토콜을 개발하기 위해.
• 높은 상호작용 밀도를 가진 브레이킹 이벤트에 집중된 대규모 운전사 주의 데이터셋(BDD-A)을 구축하기 위해.
• 주의 중요도에 따라 프레임의 재샘플링 가중치를 조정하는 인간 가중 샘플링(HWS)을 도입하여 모델의 일반화 능력과 비판적 순간 성능을 향상시키기 위해.
• 실내 및 실차 데이터 모두에서 최신 기술 수준의 성능을 달성하거나 초월하는 운전사 주의 예측 모델을 훈련하기 위해.

제안 방법

• 새로운 실내 운전사 주의 수집 프로토콜 제안: 여러 관찰자가 시뮬레이션 주행 작업 중 커뮤니티 기반의 운전 영상을 시청하고, 그들의 시선 반응을 평균하여 다중 초점 주의 지ap을 생성한다.
• 대규모 커뮤니티 기반 운전 영상 데이터셋에서 추출한 브레이킹 이벤트 클립을 기반으로 실내 인간 시선 데이터로 애노테이션된 버클리 딥드라이브 어텐션(BDD-A) 데이터셋을 구축한다.
• 인간 가중 샘플링(HWS) 도입: 인간의 시선 패턴을 활용해 주의 요구가 높은, 특히 비판적인 이벤트 동안의 프레임을 식별하고 높은 훈련 가중치를 할당한다.
• BDD-A 데이터셋과 HWS를 사용하여 딥 네URAL 네트워크를 훈련시켜 주의 예측을 수행하며, 전체 정확도와 비판적 순간 성능을 최적화한 손실 함수를 적용한다.
• 고속 고속도로 조건에 적합하도록, 소량의 실차 DR(eye)VE 데이터셋 클립(30분 분량의 실내 애노테이션)을 사용해 모델을 피지컬 튜닝한다.
• 표준 평가 지표(Divergence, CC, NSS, AUC)와 인간 평가 연구를 통해 모델 성능을 평가하며, 모델 예측과 진정값 주의 지도 간 비교를 수행한다.

실험 결과

연구 질문

• RQ1 여러 관찰자가 수집한 실내 제3자 시선 데이터가 비판적인 주행 상황에서 숙련된 운전사가 봐야 할 곳을 신뢰성 있게 반영할 수 있는가?
• RQ2 균일 샘플링과 비교해 인간 가중 샘플링(HWS)이 희귀하고 고위험 주행 이벤트에서 모델 성능을 향상시키는가?
• RQ3 실내 주의 데이터로만 훈련된 모델이 실차 주행 환경에서 높은 정확도로 일반화될 수 있는가?
• RQ4 모델의 성능가 인간 주의와의 인지 유사성 면에서 최신 기술 수준의 모델들과 비교해 어떻게 되는가?
• RQ5 모델 예측이 실제 위험 인식을 얼마나 정확하게 반영하는가, 예를 들어 안전한 보행자들이 걷는 보도의 보행자들을 무시하고 횡단 보행자들을 주의 깊이 살펴보는가?

주요 결과

• 제안된 실내 데이터 수집 프로토콜은 실차 데이터보다 더 최적의 운전사 주의를 대표하는 것으로 평가되었으며, 인간 평가자 중 41%가 모델 예측을 실내 인간 주의 지도보다 선호했다(p = 4×10⁻⁵).
• HWS 방법은 비판적 프레임에서 모델 성능을 크게 향상시켰으며, 균일 샘플링 대비 희귀하고 고위험 이벤트에서 더 큰 정확도 향상을 보였다.
• 30분 분량의 추가 실내 애노테이션을 사용해 피지컬 튜닝한 후, 모델은 DR(eye)VE 실차 데이터셋에서 최신 기술 수준의 성능을 달성했으며, KL 발산과 상관계수의 95% 신뢰구간이 겹쳤다.
• 모델는 보다 정교한 주의 행동을 보였으며, 도로를 횡단하는 보행자들을 정확히 주의를 기울였고, 보도의 보행자들에게는 잘못된 경고를 일으키지 않았다.
• 인간 평가자들은 모델 예측이 진정값 인간 주의 지도와 거의 구분되지 않는다고 평가하여, 높은 인지 정밀도를 보였다.
• 피지컬 튜닝된 모델은 DR(eye)VE 모델 대비 핵심 카테고리(차량, 보행자, 자전거 기사)의 주의를 기울인 물체 비율이 유의미하게 높아, 실내 인간 주의와 더 유사하게 일치했다.