[논문 리뷰] An Automated Machine Learning (AutoML) Method for Driving Distraction Detection Based on Lane-Keeping Performance

Chen Chai, Juanwu Lu외 3명|arXiv (Cornell University)|2021. 03. 10.

Human-Automation Interaction and Safety인용 수 14

한 줄 요약

이 논문은 자동차 내 카메라를 사용하지 않고 차선 유지 성능 데이터를 활용하여 스마트폰 관련 운전 집중력 산산을 탐지하는 자동화된 머신러닝(AutoML) 프레임워크인 AutoGBM을 제안한다. 지식 기반 특징 추출, 순환적 특징 제거(RFE), 베이지안 최적화를 통한 초매개변수 튜닝을 융합함으로써 AutoGBM은 그룹 수준에서 80%의 정확도와 개인 수준에서 90% 이상의 정확도를 달성하여 높은 신뢰성과 운전자 특성에 대한 적응성을 입증한다.

ABSTRACT

With the enrichment of smartphones, driving distractions caused by phone usages have become a threat to driving safety. A promising way to mitigate driving distractions is to detect them and give real-time safety warnings. However, existing detection algorithms face two major challenges, low user acceptance caused by in-vehicle camera sensors, and uncertain accuracy of pre-trained models due to drivers individual differences. Therefore, this study proposes a domain-specific automated machine learning (AutoML) to self-learn the optimal models to detect distraction based on lane-keeping performance data. The AutoML integrates the key modeling steps into an auto-optimizable pipeline, including knowledge-based feature extraction, feature selection by recursive feature elimination (RFE), algorithm selection, and hyperparameter auto-tuning by Bayesian optimization. An AutoML method based on XGBoost, termed AutoGBM, is built as the classifier for prediction and feature ranking. The model is tested based on driving simulator experiments of three driving distractions caused by phone usage: browsing short messages, browsing long messages, and answering a phone call. The proposed AutoGBM method is found to be reliable and promising to predict phone-related driving distractions, which achieves satisfactory results prediction, with a predictive power of 80\% on group level and 90\% on individual level accuracy. Moreover, the results also evoke the fact that each distraction types and drivers require different optimized hyperparameters values, which reconfirm the necessity of utilizing AutoML to detect driving distractions. The purposed AutoGBM not only produces better performance with fewer features; but also provides data-driven insights about system design.

연구 동기 및 목표

• 비침습적인 차선 유지 성능 데이터를 활용하여 차량 내 카메라 기반의 집중력 산산 탐지 시스템에 대한 낮은 사용자 수용도 문제를 해결한다.
• 기존 모델이 직면한 개인 운전자 간의 차이와 불균형 데이터셋 문제를 극복한다.
• 모델 선택, 특징 공학, 초매개변수 튜닝을 자동으로 최적화하는 종단 간 엔드투엔드 파이프라인을 개발한다.
• 운전자 유형별로 핵심 특징과 최적의 모델 구성 요건을 규명함으로써 데이터 기반의 운전자 모니터링 시스템 설계 통찰을 제공한다.

제안 방법

• 횡방향 이탈, 조향 각도 및 그 통계적·시간적 특징을 포함한 차선 유지 성능 데이터에서 지식 기반 특징 추출을 수행한다.
• 순환적 특징 제거(RFE)를 적용하여 예측 능력을 유지하면서도 가장 정보가 많은 특징을 순위 매기고 선택함으로써 차원을 감소시킨다.
• XGBoost의 초매개변수, 즉 학습률, 최대 깊이, L1/L2 정규화를 자동으로 튜닝하기 위해 베이지안 최적화를 사용한다.
• 알고리즘 선택과 초매개변수 튜닝을 하나의 AutoML 파이프라인으로 통합하여 전체 모델링 과정의 자가 최적화를 가능하게 한다.
• 노이즈 및 누락 데이터를 잘 처리할 수 있는 강건성, 해석 가능성, 그리고 유연성 덕분에 기반 분류기로 XGBoost를 활용한다.
• 결정 트리에서 유도된 가중치 기반 및 기여도 기반 특징 중요도 점수를 활용하여 특징의 관련성과 순위를 평가한다.

실험 결과

연구 질문

• RQ1 차량 내 카메라에 의존하지 않고 오직 차선 유지 성능 데이터만을 사용하여 AutoML 파이프라인이 운전 집중력 산산을 효과적으로 탐지할 수 있는가?
• RQ2 AutoML 접근법은 운전자 개인 간의 특성 차이에 따라 집중력 산산 탐지 정확도에 어떻게 영향을 미치는가?
• RQ3 짧은 메시지 브라우징, 장문의 메시지 읽기, 통화 응답 등 다양한 종류의 스마트폰 관련 산산을 탐지하기 위한 최적의 초매개변수 설정은 무엇인가?
• RQ4 RFE를 통한 특징 선택이 산산 탐지에서 모델 성능 향상과 설명 가능성 향상에 얼마나 기여하는가?
• RQ5 젊은 운전자 대비 노령 운전자, 위험한 운전자 대비 보수적인 운전자 등 다양한 운전자 프로파일 간에서 AutoML 시스템의 성능는 어떻게 비교되는가?

주요 결과

• AutoGBM은 28名의 운전자를 대상으로 그룹 수준에서 80%의 예측 정확도와 개인 수준에서 90% 이상의 정확도를 달성하여 뛰어난 일반화 능력과 신뢰성을 입증했다.
• 다양한 산산 유형은 각각 다른 최적의 초매개변수 설정이 필요함을 확인하여 AutoML를 통한 개인 맞춤형 모델 튜닝의 필수성을 입증했다.
• 젊고 위험을 무릅쓰는 운전자들은 나이 많고 보수적인 운전자들보다 산산을 더 쉽게 탐지할 수 있었으며, 더 적은 개수의 추정기와 더 높은 정확도를 달성했다.
• 장문의 메시지 읽기와 같은 복잡한 산산을 탐지하기 위해서는 더 깊은 모델, 더 많은 추정기, 더 강한 L1/L2 정규화가 필요로 하여 높은 정확도를 확보했다.
• AutoML 파이프라인이 높은 성능를 유지하면서도 특징 수를 효과적으로 감소시켜 효율성과 설명 가능성의 우수성을 입증했다.
• 이 방법은 특정 차선 유지 특징과 운전자 유형별 최적의 모델 구성 요건 등 운전자 모니터링 시스템 설계에 대한 데이터 기반 통찰을 제공했다.