[논문 리뷰] Why do drivers and automation disengage the automation? Results from a study among Tesla users

Sina Nordhoff, Joost de Winter|arXiv (Cornell University)|2023. 01. 01.

Human-Automation Interaction and Safety인용 수 6

한 줄 요약

이 연구는 103명의 사용자와 진행한 반구조화된 인터뷰를 통해 테슬라의 오토파ilot 및 FSD 베타에서 운전자와 자동화 시스템이 왜 해제되는지 분석한다. 해제 원인은 인간의 우려(고장 예측, 비자연스러운 행동, 불편함), 시스템 모니터링(무심한 태도 또는 규칙 위반 감지), 사회적 요인(승객 또는 도로 사용자 반응)이라는 삼각 모델로 설명되며, 자동화 해제가 기술적 고장 이상의 심리적·사회적 현상임을 강조한다.

ABSTRACT

A better understanding of automation disengagements can impact the safety and efficiency of automated systems. This study investigates the factors contributing to driver- and system-initiated disengagements by analyzing semi-structured interviews with 103 users of Tesla's Autopilot and FSD Beta. Through an examination of the data, main categories and sub-categories of disengagements were identified, which led to the development of a triadic model of automation disengagements. The model treats automation and human operators as equivalent agents. It suggests that human operators disengage automation when they anticipate failure, observe unnatural or unwanted automation behavior (e.g., erratic steering, running red lights), or believe the automation is not suited for certain environments (e.g., inclement weather, non-standard roads). Human operators' negative experiences, such as frustration, feelings of unsafety, and distrust, are also incorporated into the model, as these emotions can be triggered by (anticipated) automation behaviors. The automation, in turn, monitors human operators and may disengage itself if it detects insufficient vigilance or traffic rule violations. Moreover, human operators can be influenced by the reactions of passengers and other road users, leading them to disengage automation if they sense discomfort, anger, or embarrassment due to the system's actions. This research offers insights into the factors contributing to automation disengagements, highlighting not only the concerns of human operators but also the social aspects of the phenomenon. Furthermore, the findings provide information on potential edge cases of automated vehicle technology, which may help to enhance the safety and efficiency of such systems.

연구 동기 및 목표

• 테슬라의 부분 자동화 시스템에서 운전자 및 시스템 주도의 해제를 이끄는 심리적, 행동적, 사회적 요인을 이해하는 것.
• 운전자 및 시스템 주도의 해제를 유도하는 운영 설계 도메인을 초월한 극한 케이스를 특정하는 것.
• 승객 및 기타 도로 사용자의 반응이 운전자에게 자동화 해제를 결정하게 하는 방식을 분석하는 것.
• 운전자와 자동화 시스템이 상호작용하는 과정에서 인간 운영자와 자동화 시스템을 모두 활동적 에이젠트로 간주하는 통합적 해제 모델을 개발하는 것.
• 해제 유발 요인을 해결함으로써 더 안전하고 신뢰성 있고 사회적으로 수용 가능한 자동화 주행 시스템 설계를 뒷받침하는 것.

제안 방법

• Zoom을 통해 온라인으로 진행된 반구조화된 인터뷰를 통해 103명의 테슬라 오토파일럿 및 FSD 베타 사용자와 음성 및 영상 녹화를 실시했다.
• 연구자 편향을 최소화하고 일관성을 확보하기 위해 Qualtrics를 사용해 표준화된 논리 순서의 인터뷰 프로토콜을 적용했다.
• 반복적인 주제를 식별하기 위해 정성적 데이터 분석을 활용하여 해제의 삼각 모델을 개발했다.
• 해제 이유를 인간 운영자 상태, 시스템 행동, 환경적 요인, 사회적 영향력으로 분류했다.
• 인간 요인 이론, 신뢰 이론, 마음 이론을 통합해 운전자, 자동화 시스템, 외부 주체 간의 상호작용을 모델링했다.
• 기술적 차량 데이터에만 의존하지 않고 실제 생활 경험과 주관적인 사용자 경험에 초점을 맞췄다.

실험 결과

연구 질문

• RQ1 운전자가 테슬라의 오토파일럿 및 FSD 베타 시스템을 해제하는 주요 이유는 무엇인가요?
• RQ2 자동화 시스템 자체가 어떻게 해제를 유도하며, 어떤 조건에서 그러한 해제가 발생하나요?
• RQ3 승객과 다른 도로 사용자의 반응은 운전자의 자동화 해제 결정에 어떤 방식으로 影향을 미치나요?
• RQ4 자동화 행동에 대한 인식(예: 기민한 조향, 허상 브레이킹 등)이 운전자의 신뢰도와 해제 결정에 어떤 영향을 미치나요?
• RQ5 환경적 및 인프라 요인(예: 나쁜 도로 표시, 기상 조건 등)은 해제 결정에 어떤 역할을 하나요?

주요 결과

• 운전자는 비자연스러운 행동(예: 기민한 조향, 허상 브레이킹, 의도하지 않은 차선 변경)을 인지하거나 관찰할 경우 자주 자동화를 해제한다.
• 자동화 시스템은 조향 휠 토크 센서를 통해 운전자의 경각심 부족 또는 교통 규칙 위반 여부를 감지할 경우 해제를 유도한다.
• 자동화 행동으로 인해 승객이 불편하거나 분노감을 느낄 경우, 운전자는 이를 고려해 자동화를 해제하는 경향이 있어 자동화 신뢰의 사회적 차원이 드러난다.
• 운전자는 기상 악화, 공사 지역, 비표준 도로 등에서 자동화 성능이 부족하다고 인식하는 어려운 환경에서는 해제를 사전에 예측한다.
• 실제 고장뿐 아니라 예상되는 자동화 고장으로 인한 부정적 정서 상태(화남, 두려움, 불신)가 해제 결정에 기여한다.
• 이전에 보고되지 않은 안전 핵심 행동(예: 대조 교차로에서의 진입)이 해제의 주요 유발 요인임을 규명하여, 설계 및 감시 개선이 필요함을 시사한다.