[논문 리뷰] To Explain or Not to Explain: A Study on the Necessity of Explanations for Autonomous Vehicles

Yuan Shen, Shanduojiao Jiang외 2명|arXiv (Cornell University)|2020. 06. 21.

Explainable Artificial Intelligence (XAI)참고 문헌 26인용 수 31

한 줄 요약

이 논문은 자율주행 차량의 행동에 대한 설명이 필요한 시점을 연구하고 운전자 유형과 운전 맥락이 설명 필요성에 미치는 영향을 분석하며, 라벨이 달린 설명 필요성이 있는 1103개의 비디오 클립 데이터 세트를 도입한다.

ABSTRACT

Explainable AI, in the context of autonomous systems, like self-driving cars, has drawn broad interests from researchers. Recent studies have found that providing explanations for autonomous vehicles' actions has many benefits (e.g., increased trust and acceptance), but put little emphasis on when an explanation is needed and how the content of explanation changes with driving context. In this work, we investigate which scenarios people need explanations and how the critical degree of explanation shifts with situations and driver types. Through a user experiment, we ask participants to evaluate how necessary an explanation is and measure the impact on their trust in self-driving cars in different contexts. Moreover, we present a self-driving explanation dataset with first-person explanations and associated measures of the necessity for 1103 video clips, augmenting the Berkeley Deep Drive Attention dataset. Our research reveals that driver types and driving scenarios dictate whether an explanation is necessary. In particular, people tend to agree on the necessity for near-crash events but hold different opinions on ordinary or anomalous driving situations.

연구 동기 및 목표

• 운전 시나리오가 자율주행 결정에 대한 텍스트 기반 설명의 필요성에 어떤 영향을 미치는지 평가한다.
• 운전자 유형(예: 공격적 vs. 신중)이 맥락에 따라 설명 필요성에 어떤 영향을 미치는지 검토한다.
• 운전 시나리오 전반에 걸쳐 보편적인 설명 콘텐츠 형식이 존재하는지 확인한다.
• 자율주행 비디오에 대한 설명 필요성, 타이밍 및 내용을 주석으로 달은 데이터셋을 만든다.

제안 방법

• 온라인 설문 기반 사용자 연구를 수행하여 설명 주석을 클러스터링해 도출된 38개의 운전 시나리오에서 차량 탑승자로 활동하는 18명의 참가자를 대상으로 한다.
• 각 비디오 클립 후 필요성 점수, 주의력, 선호하는 설명 콘텐츠를 수집한다.
• 각 순간에 대한 설명 필요성을 나타내는 '임계 점수'(0에서 1 사이)를 정의하고 계산한다.
• Berkeley Deep Drive Attention 데이터셋을 확장하여 설명 순간과 필요성 점수로 주석된 1103개 비디오 클립을 생성한다.
• 비디오 프레임에서 설명 필요성을 추론하기 위해 공간-시간 순환 모델을 개발하고 무작위 추측과 비교한다.

실험 결과

연구 질문

• RQ1 설명 필요성이 운전 시나리오 및 운전자 유형과 상관관계가 있는가?
• RQ2 시나리오 전반에 걸쳐 일반적으로 선호되는 설명 콘텐츠 형식이 있는가?
• RQ3 설명의 존재가 자율주행 차량에 대한 사용자의 신뢰를 높이는가?
• RQ4 근접 충돌과 일반 운전 이벤트에서 설명 필요성의 시간적 역학은 무엇인가?
• RQ5 일인칭 설명과 필요성 점수 데이터셋이 설명 필요성의 실시간 추론을 지원할 수 있는가?

주요 결과

• 설명 필요성은 운전자 유형과 운전 시나리오 모두와 상관관계가 있으며, 근접 충돌 상황에서 더 높은 필요성을 보인다.
• 일반적이거나 이상한 운전 상황에 대한 설명 필요성에 대해 참가자 간 상당한 이견이 있다.
• 모든 시나리오에 걸친 일반적이고 전 세계적으로 선호되는 설명 형식은 발견되지 않았다. 38개 시나리오 중 16개에서 선호 형식을 식별할 수 있었으나 일관된 패턴은 나타나지 않았다.
• 공격적 운전자는 보통 신중한 운전자보다 설명 필요성이 더 낮다고 보고했다(약 18% 낮음).
• 1103개의 클립이 포함된 자율주행 설명 데이터셋은 다양한 설명 순간과 필요성 점수(0에서 1)를 보여주며, 설명 필요성을 예측하기 위한 기초 AUC를 0.6295–0.6794로 가능하게 한다.