[논문 리뷰] Predicting Driver Fatigue in Automated Driving with Explainability

Feng Zhou, Areen Alsaid외 6명|arXiv (Cornell University)|2021. 03. 03.

Sleep and Work-Related Fatigue참고 문헌 37인용 수 5

한 줄 요약

이 연구는 자동운전에서 신체적 및 행동적 측정치를 사용하여 운전사의 피로를 예측하기 위해 SHAP와 통합된 설명 가능한 XGBoost 모델을 제안한다. 높은 정확도(RMSE: 3.847, MAE: 1.768, 조정된 R²: 0.996)를 달성하고 심박수 변동성과 호흡률과 같은 핵심 예측 변수를 규명하여 타이밍 전환 시 실시간 간섭을 위한 실질적인 통찰을 제공한다.

ABSTRACT

Research indicates that monotonous automated driving increases the incidence of fatigued driving. Although many prediction models based on advanced machine learning techniques were proposed to monitor driver fatigue, especially in manual driving, little is known about how these black-box machine learning models work. In this paper, we proposed a combination of eXtreme Gradient Boosting (XGBoost) and SHAP (SHapley Additive exPlanations) to predict driver fatigue with explanations due to their efficiency and accuracy. First, in order to obtain the ground truth of driver fatigue, PERCLOS (percentage of eyelid closure over the pupil over time) between 0 and 100 was used as the response variable. Second, we built a driver fatigue regression model using both physiological and behavioral measures with XGBoost and it outperformed other selected machine learning models with 3.847 root-mean-squared error (RMSE), 1.768 mean absolute error (MAE) and 0.996 adjusted $R^2$. Third, we employed SHAP to identify the most important predictor variables and uncovered the black-box XGBoost model by showing the main effects of most important predictor variables globally and explaining individual predictions locally. Such an explainable driver fatigue prediction model offered insights into how to intervene in automated driving when necessary, such as during the takeover transition period from automated driving to manual driving.

연구 동기 및 목표

• 지속적인 주행 조건에서 설명 가능한 피로 예측 모델의 부족을 해결하기 위해.
• 높은 정확도를 갖는 해석 가능한 모델을 개발하여 운전사 피로의 핵심 신체적 및 행동적 예측 변수를 규명하기 위해.
• 운전사 상태와 피로 발생 간의 인과 관계를 규명함으로써 실시간 간섭을 가능하게 하기 위해.
• 투명하고 해석 가능한 예측을 제공함으로써 자동화 시스템에 대한 신뢰와 수용을 지원하기 위해.
• 모델에서 추출한 영역 지식을 활용하여 피로 완화 시스템의 설계를 이끌기 위해.

제안 방법

• 운전사 피로의 기준값으로 PERCLOS(결막 위의 눈꺼풀 폐쇄 비율)를 사용하였다.
• 통제된 주행 실험에서 심박수, 호흡률, 눈동자 움직임 지표 등을 포함한 11개의 예측 변수를 수집하였다.
• PERCLOS를 고정된 정확도로 예측하기 위해 데이터셋에 대해 XGBoost 회귀 모델을 훈련시켰다.
• 전역적 및 국소적 모델 설명을 위해 SHAP(SHapley Additive exPlanations)를 적용하였다.
• SHAP 기능 중요도 점수를 사용해 상위 5개의 가장 중요한 특징을 규명하였다.
• 개별 예측을 설명하기 위해 전역 SHAP 의존성 플롯과 국소 SHAP 힘 플롯을 시각화하였다.

실험 결과

연구 질문

• RQ1 신체적 및 행동적 데이터를 사용하여 자동운전 환경에서 XGBoost 모델이 운전사 피로를 얼마나 정확하게 예측할 수 있는가?
• RQ2 자동운전 환경에서 운전사 피로를 가장 잘 예측하는 신체적 및 행동적 변수는 무엇인가?
• RQ3 SHAP는 XGBoost 모델의 예측에 대해 전역적 및 국소적 설명을 어떻게 제공하는가?
• RQ4 설명 가능한 모델에서 도출된 실질적인 통찰은 자동운전에서 피로를 완화하기 위해 어떻게 활용될 수 있는가?
• RQ5 다양한 심박수 변동성 지표는 피로 수준과 어떻게 관련되어 있으며, 비선형 패턴을 보이는가?

주요 결과

• XGBoost 모델은 루트 평균 제곱 오차(RMSE) 3.847, 평균 절대 오차(MAE) 1.768, 조정된 R² 0.996을 기록하여 높은 예측 정확도를 확보하였다.
• 상위 5개의 가장 중요한 예측 변수로는 심박수 변동성(HRV), 호흡률, 심박수 표준편차(hr_std60), 그리고 두 가지 눈동자 움직임 특징이 포함되었다.
• SHAP 분석을 통해 심박수 변동성과 PERCLOS 간에 V자 형태의 관계가 드러났으며, 전환점은 50ms와 2회/분에서 관찰되어 복잡한 비선형 효과를 시사하였다.
• 호흡률 감소는 항상 피로 증가와 관련되어 있어, 이를 피로 지표로 사용할 수 있음을 뒷받침한다.
• 저심박수와 저심박수 변동성은 각각 각성 감소와 피로 증가와 관련되어 있어, 각성 강화 간섭 전략의 잠재적 적용 가능성을 시사한다.
• 모델의 설명에 따르면, 호흡 패tern의 변동성이 낮은 경우(저 br_std60)도 피로와 관련이 있음을 규명하였으며, 이는 이전에 거의 보고되지 않은 지표였다.