[논문 리뷰] Using Eye-tracking Data to Predict Situation Awareness in Real Time during Takeover Transitions in Conditionally Automated Driving

Feng Zhou, X. Jessie Yang외 1명|arXiv (Cornell University)|2021. 03. 27.

Human-Automation Interaction and Safety인용 수 8

한 줄 요약

이 연구는 조건부 자율주행 환경에서 눈운동 데이터와 LightGBM 기계학습 알고리즘을 활용하여 실시간 상황 인식(SA) 예측 모델을 제안하며, 설명 가능성 향상을 위해 SHAP를 적용하였다. 모델은 눈운동 특성만을 사용하여 실제 상황 인식과 상관계수 0.719를 기록하여 강력한 예측 성능를 입증하였고, 차량 인식 전환 과정에서 상황 인식에 영향을 주는 주요 시각적 주의 요소를 규명하였다.

ABSTRACT

Situation awareness (SA) is critical to improving takeover performance during the transition period from automated driving to manual driving. Although many studies measured SA during or after the driving task, few studies have attempted to predict SA in real time in automated driving. In this work, we propose to predict SA during the takeover transition period in conditionally automated driving using eye-tracking and self-reported data. First, a tree ensemble machine learning model, named LightGBM (Light Gradient Boosting Machine), was used to predict SA. Second, in order to understand what factors influenced SA and how, SHAP (SHapley Additive exPlanations) values of individual predictor variables in the LightGBM model were calculated. These SHAP values explained the prediction model by identifying the most important factors and their effects on SA, which further improved the model performance of LightGBM through feature selection. We standardized SA between 0 and 1 by aggregating three performance measures (i.e., placement, distance, and speed estimation of vehicles with regard to the ego-vehicle) of SA in recreating simulated driving scenarios, after 33 participants viewed 32 videos with six lengths between 1 and 20 s. Using only eye-tracking data, our proposed model outperformed other selected machine learning models, having a root-mean-squared error (RMSE) of 0.121, a mean absolute error (MAE) of 0.096, and a 0.719 correlation coefficient between the predicted SA and the ground truth. The code is available at https://github.com/refengchou/Situation-awareness-prediction. Our proposed model provided important implications on how to monitor and predict SA in real time in automated driving using eye-tracking data.

연구 동기 및 목표

• 조건부 자율주행에서 차량 인식 전환 과정 동안 실시간으로 비침습적인 상황 인식(SA) 예측 방법을 개발하기 위해.
• SAGAT, SART와 같은 전통적 상황 인식 측정 도구가 프로브 기반 또는 사후 작업 방식이므로 실시간 사용에 부적합한 점을 해결하기 위해.
• 동적 주행 과제에서 인지 및 이해와의 강한 연관성을 고려해 눈운동 데이터를 시각적 주의의 대체 지표로 활용하기 위해.
• SHAP 값을 활용하여 가장 영향력 있는 눈운동 특성과 그 예측에 대한 방향성 효과를 규명함으로써 모델의 해석 가능성 향상하기 위해.
• 비침습적인 생리적 데이터를 활용해 실시간으로 운전자 상황 인식을 모니터링함으로써 자율주행 시스템에서 사전 개입 가능성을 높이기 위해.

제안 방법

• 다양한 지속시간(1~20초)을 가진 32개의 시뮬레이션 주행 영상(최대 6대의 차량이 동적 위치와 속도를 가짐)을 시청한 33명의 참가자로부터 눈운동 데이터를 수집하였다.
• 차량 위치, 거리, 속도 추정 정확도의 세 가지 성능 측정치를 통합하여 상황 인식(SA)을 0에서 1로 표준화하였다.
• 나무 기반의 앙상블 기울기 부스팅 모델인 LightGBM을 사용하여 눈운동 특성(고정 지속 시간, 동공 직경, 사카드 앰플리튜드 등)만을 활용해 SA를 예측하였다.
• SHAP(SHapley Additive exPlanations)를 사용해 LightGBM 모델을 해석하고, 가장 중요한 예측 변수를 규명하며 각 특성의 기여도를 정량화하였다.
• SHAP 값 기반 특성 선택을 수행하여 모델 성능 향상과 과적합 방지를 도모하였다.
• 예측된 상황 인식과 실제 상황 인식 간의 상관계수(0.719), RMSE(0.121), MAE(0.096)를 사용하여 모델 성능을 검증하였다.

실험 결과

연구 질문

• RQ1 조건부 자율주행에서 차량 인식 전환 과정 동안 눈운동 데이터만으로도 실시간으로 상황 인식을 예측할 수 있는가?
• RQ2 고정 지속 시간, 동공 직경, 사카드 앰플리튜드 등의 특정 눈운동 특성 중 상황 인식에 가장 예측력 있는 것은 무엇인가?
• RQ3 개별 눈운동 변수는 상황 인식 예측에 어떤 기여를 하며, 그 기여 방향(양의 영향 또는 음의 영향)은 어떠한가?
• RQ4 SHAP 값은 나무 기반 기계학습 모델의 상황 인식 예측을 효과적으로 설명할 수 있는가? 이를 통해 해석 가능성과 실질적인 통찰을 확보할 수 있는가?
• RQ5 추가적인 생리적 또는 행동적 입력 없이 눈운동 데이터만으로 훈련된 모델도 강력한 성능 유지를 할 수 있는가?

주요 결과

• 눈운동 데이터만으로 훈련된 LightGBM 모델은 예측된 상황 인식과 실제 상황 인식 간 상관계수 0.719를 기록하였으며, RMSE는 0.121, MAE는 0.096였다.
• 고정 지속 시간은 상황 인식과 양의 상관관계를 보였으며, 이는 관련 시나리오 요소에 대한 장시간 고정이 상황 인식 향상에 기여함을 시사한다. 다만 상관계수는 중간 수준(r < 0.5)이었다.
• 동공 직경 측정치(pupilMean 및 pupilStd)는 중요한 예측 변수였으며, pupilMean가 pupilStd보다 더 강한 영향을 미쳤다. 그러나 강한 선형 관계는 관찰되지 않았다.
• 사카드 앰플리튜드(sAmpMean)는 상황 인식과 음의 상관관계를 보였고, 앰플리튜드의 변동성(sAmpStd)은 양의 상관관계를 보였다. 이는 더 다양한 스캐닝 패턴이 높은 상황 인식과 연관됨을 시사한다.
• SHAP 분석 결과, 상황 인식 예측에 가장 영향력 있는 세 가지 특성은 한 경우 'road = 26', 'difficulty = 29', 'backMirror = 7'이었고, 다른 경우는 'backMirror = 7', 'road = 26', 'fStd = 491.7'이었다. 이는 특성 중요도가 맥락에 따라 달라질 수 있음을 보여준다.
• SHAP를 통한 모델의 해석 가능성 덕분에 특정 시각적 주의 패tern(예: 거리나 거울에 대한 고정)이 예측된 상황 인식을 어떻게 증가 또는 감소시키는지 규명되었으며, 이는 인간-기계 시스템 설계에 실질적인 통찰을 제공한다.