[논문 리뷰] Modeling Dispositional and Initial learned Trust in Automated Vehicles with Predictability and Explainability

Jackie Ayoub, X. Jessie Yang외 1명|arXiv (Cornell University)|2020. 12. 25.

Human-Automation Interaction and Safety참고 문헌 42인용 수 4

한 줄 요약

이 연구는 1,175명의 참가자로부터 수집한 설문 데이터를 바탕으로 자동차의 성향적 및 초기 학습된 신뢰를 모델링하며, 23개의 신뢰 관련 특징을 추출하여 XGBoost 모델을 훈련시켰다. 설명 가능성과 함께 SHAP를 통합함으로써 높은 예측 정확도와 모델 해석 가능성을 동시에 확보하였으며, 전통적인 회귀 모델과 블랙박스 모델보다도 신뢰 동적 변화를 투명성 있게 파악하는 데 뛰어난 성능을 보였다.

ABSTRACT

Technological advances in the automotive industry are bringing automated driving closer to road use. However, one of the most important factors affecting public acceptance of automated vehicles (AVs) is the public's trust in AVs. Many factors can influence people's trust, including perception of risks and benefits, feelings, and knowledge of AVs. This study aims to use these factors to predict people's dispositional and initial learned trust in AVs using a survey study conducted with 1175 participants. For each participant, 23 features were extracted from the survey questions to capture his or her knowledge, perception, experience, behavioral assessment, and feelings about AVs. These features were then used as input to train an eXtreme Gradient Boosting (XGBoost) model to predict trust in AVs. With the help of SHapley Additive exPlanations (SHAP), we were able to interpret the trust predictions of XGBoost to further improve the explainability of the XGBoost model. Compared to traditional regression models and black-box machine learning models, our findings show that this approach was powerful in providing a high level of explainability and predictability of trust in AVs, simultaneously.

연구 동기 및 목표

• 자율주행차(AVs)에 대한 대중의 신뢰를 이끌어내는 요인, 특히 성향적 및 초기 학습된 신뢰의 영향 요인을 이해하기 위해.
• 자율주행차(AVs)에 대한 신뢰를 예측할 수 있는 핵심 심리적, 지각적, 경험적 특징을 규명하기 위해.
• 실제 설문 데이터를 기반으로 한 고정확도·해석 가능 기계학습 모델을 개발하기 위해.
• XGBoost 예측 결과를 해석하기 위해 Shapley Additive exPlanations(SHAP)를 통합하여 모델 투명성을 향상시키기 위해.

제안 방법

• 1,175명의 참가자로부터 자율주행차에 대한 지식, 지각, 경험, 행동 평가 및 정서적 반응에 관한 설문을 실시하여 데이터를 수집하였다.
• 위험 인식, 익숙함, 정서적 긍정성 등 신뢰 관련 차원을 반영하기 위해 설문 응답에서 23개의 특징을 추출하였다.
• 23개의 입력 특징을 기반으로 신뢰 수준을 예측하기 위해 eXtreme Gradient Boosting(XGBoost) 모델을 훈련시켰다.
• 개별 신뢰 점수에 기여하는 특징 기여도를 파악하기 위해 XGBoost 모델의 예측 결과를 설명하기 위해 SHapley Additive exPlanations(SHAP)를 적용하였다.
• 예측 정확도와 해석 가능성의 두 가지 기준으로 성능을 평가하였으며, 전통적 회귀 모델 및 블랙박스 모델과의 비교 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 심리적 및 지각적 특징 중 자율주행차에 대한 성향적 및 초기 학습된 신뢰를 가장 강하게 예측하는 요소는 무엇인가?
• RQ2 설문에서 도출된 특징을 활용한 기계학습 모델이 자율주행차에 대한 신뢰를 얼마나 정확하게 예측할 수 있는가?
• RQ3 SHAP 기반의 해석 가능성은 자율주행차 환경에서 신뢰 예측 모델의 투명성을 어느 정도 향상시킬 수 있는가?
• RQ4 SHAP를 통한 설명을 통합한 XGBoost 모델은 전통적 회귀 모델 및 블랙박스 모델에 비해 신뢰 예측 성능에서 어떻게 비교되는가?

주요 결과

• SHAP를 통합한 XGBoost 모델은 자율주행차에 대한 성향적 및 초기 학습된 신뢰를 높은 정확도로 모델링하였다.
• 예측 신뢰도에 가장 큰 영향을 미친 특징으로는 예측 가능성에 대한 지각 및 시스템 설명 가능성에 대한 지각이 포함되었다.
• SHAP 분석 결과, 정서적 반응과 인식된 위험 수준이 개인의 신뢰 점수에 크게 기여하는 것으로 나타났다.
• 예측 성능에서 전통적 회귀 모델을 능가하면서도 높은 해석 가능성을 유지하였다.
• SHAP 통합을 통해 신뢰 예측의 특징 수준에서 명확한 설명을 제공함으로써 모델의 투명성이 향상되었다.
• 높은 예측 능력과 실용적인 해석 가능성을 동시에 확보함으로써 자율주행차 설계에 실질적인 통찰을 제공하였다.