[논문 리뷰] Drive Safe: Cognitive-Behavioral Mining for Intelligent Transportation Cyber-Physical System

Md. Shirajum Munir, Sarder Fakhrul Abedin외 4명|arXiv (Cornell University)|2020. 08. 24.

Emotion and Mood Recognition참고 문헌 55인용 수 5

한 줄 요약

이 논문은 지능형 이동성 사이버물리시스템(IT-CPS)을 위한 인지행동 채굴 플랫폼인 Drive Safe를 제안한다. 이 플랫폼은 AI 모델을 사용해 운전사의 산만함과 정서 상태를 감지하고, 정서 회복을 위한 오디오 콘텐츠를 자동으로 추천한다. 프로토타입은 캡슐 네트워크, 베이지안 네트워크, 엣지 컴퓨팅을 통합하여 유의미한 통계적 결과(p = 0.0041)와 사용성 및 안전성 효과 평가에서 95% 신뢰구간 0.93를 달성하였다.

ABSTRACT

This paper presents a cognitive behavioral-based driver mood repairment platform in intelligent transportation cyber-physical systems (IT-CPS) for road safety. In particular, we propose a driving safety platform for distracted drivers, namely \emph{drive safe}, in IT-CPS. The proposed platform recognizes the distracting activities of the drivers as well as their emotions for mood repair. Further, we develop a prototype of the proposed drive safe platform to establish proof-of-concept (PoC) for the road safety in IT-CPS. In the developed driving safety platform, we employ five AI and statistical-based models to infer a vehicle driver's cognitive-behavioral mining to ensure safe driving during the drive. Especially, capsule network (CN), maximum likelihood (ML), convolutional neural network (CNN), Apriori algorithm, and Bayesian network (BN) are deployed for driver activity recognition, environmental feature extraction, mood recognition, sequential pattern mining, and content recommendation for affective mood repairment of the driver, respectively. Besides, we develop a communication module to interact with the systems in IT-CPS asynchronously. Thus, the developed drive safe PoC can guide the vehicle drivers when they are distracted from driving due to the cognitive-behavioral factors. Finally, we have performed a qualitative evaluation to measure the usability and effectiveness of the developed drive safe platform. We observe that the P-value is 0.0041 (i.e., < 0.05) in the ANOVA test. Moreover, the confidence interval analysis also shows significant gains in prevalence value which is around 0.93 for a 95% confidence level. The aforementioned statistical results indicate high reliability in terms of driver's safety and mental state.

연구 동기 및 목표

• 산만한 운전과 악성 정서 상태로 인한 사고 증가 문제를 해결하기 위해.
• 운전사의 인지행동 채굴을 차세대 사이버물리시스템과 융합하여 실시간 안전 개입을 가능하게 하기 위해.
• 운전사의 정서 상태를 인식하고 수동 입력 없이 정서적 콘텐츠를 추천하는 자율적 차량 내 플랫폼을 개발하기 위해.
• 실제 IT-CPS 프로토타입에서 질적 및 통계적 평가를 통해 플랫폼의 사용성과 효과성을 검증하기 위해.

제안 방법

• 운전 활동 및 환경 특징 인식을 위해 캡슐 네트워크(CN), 합성곱 신경망(CNN), 최대우도(ML) 모델을 활용하였다.
• 운전사 라이프로그를 기반으로 베이지안 네트워크(BN)를 사용하여 개인화된 정서 상태를 추론하고 자율적 의사결정을 가능하게 하였다.
• 순차 패턴 채굴을 위해 Apriori 알고리즘을 적용하여 정서 상태와 관련된 행동 경향을 식별하였다.
• 다중접근 엣지 컴퓨팅(MEC)을 통합하여 생리적 및 환경 데이터를 실시간으로 처리함으로써 지연을 감소시켰다.
• 차량 내 장치와 엣지 서버 간 비동기적 데이터 교환을 위해 무선 통신 모듈을 구현하였다.
• 생리적 신호에서 각성도 및 정서 평가 수준을 추출하기 위해 DEAP 데이터셋을 사용하여 정서 인식을 검증하였다.

실험 결과

연구 질문

• RQ1 인지행동 채굴 플랫폼은 실시간으로 운전사의 산만함과 정서 상태를 효과적으로 감지할 수 있는가?
• RQ2 AI 및 통계 모델을 어떻게 통합하여 지능형 이동 시스템에서 자율적 정서 회복을 가능하게 할 수 있는가?
• RQ3 제안된 플랫폼은 사이버물리시스템 환경에서 운전사의 안전성과 사용성에 얼마나 기여하는가?
• RQ4 엣지 컴퓨팅과 차량 내 처리는 저지연, 개인화된 안전 개입을 보장할 수 있는가?

주요 결과

• ANOVA 검정에서 p-값이 0.0041로 나타나 Drive Safe 플랫폼의 사용성 및 효과성 평가에서 통계적으로 유의미한 결과를 보였다.
• 유병률 값에 대해 95% 신뢰구간 0.93를 관찰하여 운전사 안전성 및 정서 상태 결과 측정의 높은 신뢰성을 입증하였다.
• DEAP 데이터셋을 활용해 생리적 데이터를 통해 운전사 정서 상태를 성공적으로 인식하였으며, 정확한 각성도 및 정서 평가 추정이 가능했다.
• 운전사의 상호작용 없이도 차량 내 애플리케이션이 인지행동 채굴 기반으로 오디오 추천을 자동으로 제공하였다.
• 플랫폼은 300ms 간격으로 정서 변화와 안전 메시지를 시각화하여 상황 인식 능력과 정서적 안전성을 향상시켰다.
• 사용자 피드백은 높은 만족도를 보였으며, 참가자 90%가 시스템을 유용하다고 평가하고 다른 이들에게 추천하겠다고 응답하였다.