[논문 리뷰] Real-Time Driver Monitoring Systems through Modality and View Analysis

Yiming Ma, Víctor Sánchez외 4명|arXiv (Cornell University)|2022. 10. 17.

Sleep and Work-Related Fatigue인용 수 4

한 줄 요약

이 논문은 상부 시야 적외선 카메라에서 단일 이미지 입력을 사용하는 실시간 운전자 모니터링 시스템을 제안하며, 시간적 모델링을 제거하여 계산량을 크게 줄였음에도 불구하고 최신 기술 수준의 성능(97.5% AUC-PR)을 달성한다. 상부 시야 적외선 모odal리티만으로도 다중 모달 비디오 기반 접근 방식보다 효율성과 정확도에서 뛰어나며, 임베디드 장치에 배포 가능한 저지연 추론을 가능하게 한다.

ABSTRACT

Driver distractions are known to be the dominant cause of road accidents. While monitoring systems can detect non-driving-related activities and facilitate reducing the risks, they must be accurate and efficient to be applicable. Unfortunately, state-of-the-art methods prioritize accuracy while ignoring latency because they leverage cross-view and multimodal videos in which consecutive frames are highly similar. Thus, in this paper, we pursue time-effective detection models by neglecting the temporal relation between video frames and investigate the importance of each sensing modality in detecting drives' activities. Experiments demonstrate that 1) our proposed algorithms are real-time and can achieve similar performances (97.5\% AUC-PR) with significantly reduced computation compared with video-based models; 2) the top view with the infrared channel is more informative than any other single modality. Furthermore, we enhance the DAD dataset by manually annotating its test set to enable multiclassification. We also thoroughly analyze the influence of visual sensor types and their placements on the prediction of each class. The code and the new labels will be released.

연구 동기 및 목표

• 임베디드 자동차 하드웨어에 배포 가능한 실시간이며 계산량이 적은 운전자 모니터링 시스템(DMS)을 개발하는 것.
• 비디오 기반 접근 방식과 비교해 비디오 기반 접근 방식보다 효율성과 정확도에서 뛰어나며, 임베디드 장치에 배포 가능한 저지연 추론을 가능하게 한다.
• DAD 데이터셋의 테스트 세트를 수동으로 레이블링하여 운전자 행동의 다중 분류를 가능하게 하여 데이터셋을 향상시키는 것.
• 이미지 기반 및 비디오 기반 DMS 아키텍처 간의 정확도와 추론 효율성 간의 상호 상충 관계를 평가하는 것.
• 실시간 DMS 배포에 가장 유용한 단일 모달리티 및 카메라 구성 조합을 규명하는 것.

제안 방법

• 저자들은 시간적 모델링을 제거하기 위해 비디오 클립 대신 단일 프레임 이미지를 사용하여 FLOPs와 추론 시간을 크게 줄였다.
• 특징 수준 및 결정 수준 융합 전략을 사용하여 다양한 카메라 시야(상부, 전면)에서 RGB, 깊이, 적외선(IR) 등의 다양한 모달리티 조합을 평가하였다.
• 특징 추출을 위해 ResNet-18과 MobileNet-V2 백본을 사용하였으며, 이는 DAD 데이터셋을 기반으로 이진 및 다중 분류 작업에 대해 학습된 모델이다.
• 임베디드 환경 제약 조건 하에서 실시간 성능를 검증하기 위해 ARM64 및 AMD64 플랫폼 간의 추론 효율성을 비교하였다.
• 다중 분류 평가 및 클래스별 분석을 가능하게 하기 위해 DAD 테스트 세트를 특정 활동 클래스로 수동 재라벨링 하였다.
• 성능 평가에는 AUC-PR과 AUC-ROC를 사용하였으며, 모달리티 및 시야 조합에 대한 분석 실험을 실시하였다.

실험 결과

연구 질문

• RQ1 이미지 기반 모델은 비디오 기반 모델과 유사한 정확도를 달성하면서도 임베디드 시스템에서 실시간 추론을 가능하게 할 수 있는가?
• RQ2 RGB, 깊이, IR 등의 시각적 모달리티와 상부, 전면 등의 카메라 시야 중에서 운전자 행동 인식에 가장 정보적인 특징을 제공하는 것은 무엇인가?
• RQ3 시간적 모델링을 생략할 경우 운전자 모니터링 시스템의 검출 성능에 어떤 영향을 미치는가?
• RQ4 데이터 불균형과 백본의 표현 능력 제한이 다중 분류 성능에 어떤 영향을 미치는가?
• RQ5 단일 최적화된 모달리티 및 시야 조합이 정확도와 효율성 양면에서 다중 모달 비디오 기반 접근 방식을 초월할 수 있는가?

주요 결과

• 이미지 기반 모델은 97.5% AUC-PR과 95.6% AUC-ROC를 기록하여 비디오 기반 모델의 최신 기술 수준에 도달하였으며, FLOPs를 최대 10배까지 감소시켰다.
• 상부 시야 적외선(IR) 모달리티만으로도 모든 테스트된 단일 모달 구성 중에서 가장 높은 성능(97.1% AUC-PR)을 기록하였다.
• ARM64(M1 Pro) 기반에서 이미지 기반 모델의 추론 시간은 0.03초 이내이며, 45Hz 비디오 스트림의 실시간 요구 조건(프레임당 ≤0.3556초)을 충족한다.
• 특징 수준 융합은 결정 수준 융합보다 성능이 뛰어나며, (상부+전면) IR 조합에서 96.7% AUC-PR을 기록하였다.
• 상부 시야에서 IR 모달리티를 사용할 경우 스마트폰 관련 방해 요소와 정상 주행 행동 간의 혼동이 크게 감소하여 높은 분류 능력을 보였다.
• 이중 분류 성능는 뛰어나지만, 데이터 불균형과 ResNet-18의 표현 능력 제한으로 인해 다중 분류는 여전히 도전 과제로 남아 있다.