[논문 리뷰] To Walk or Not to Walk: Crowdsourced Assessment of External Vehicle-to-Pedestrian Displays

Lex Fridman, Bruce Mehler외 4명|arXiv (Cornell University)|2017. 07. 10.

Human-Automation Interaction and Safety참고 문헌 10인용 수 90

한 줄 요약

본 논문은 Amazon Mechanical Turk를 통한 확장 가능한 크라우드소싱 온라인 방법을 제시하여 30개의 차외 보행자-차량 디스플레이(concepts) 개념을 평가하고, 각 디자인이 안전하게 건널 수 있는 의도를 전달하는지 여부를 200명의 참가자로 평가합니다. 이 방법이 초기 단계 디자인 평가에 대한 효율성을 보여주고 해석의 변동성과 안전에 대한 시사점을 논의합니다.

ABSTRACT

Researchers, technology reviewers, and governmental agencies have expressed concern that automation may necessitate the introduction of added displays to indicate vehicle intent in vehicle-to-pedestrian interactions. An automated online methodology for obtaining communication intent perceptions for 30 external vehicle-to-pedestrian display concepts was implemented and tested using Amazon Mechanic Turk. Data from 200 qualified participants was quickly obtained and processed. In addition to producing a useful early-stage evaluation of these specific design concepts, the test demonstrated that the methodology is scalable so that a large number of design elements or minor variations can be assessed through a series of runs even on much larger samples in a matter of hours. Using this approach, designers should be able to refine concepts both more quickly and in more depth than available development resources typically allow. Some concerns and questions about common assumptions related to the implementation of vehicle-to-pedestrian displays are posed.

연구 동기 및 목표

• 외부 차량-보행자 디스플레이가 보행자에게 건널 의도를 효과적으로 전달하는지 평가합니다.
• 많은 디자인 컨셉을 빠르고 비용 효율적으로 평가하는 확장 가능한 온라인 방법론을 시연합니다.
• 보행자에게 걸음/걸음하지 않음 신호를 신뢰성 있게 전달하는 디자인 요소를 식별합니다.
• 자율주행 또는 부분 자율주행 차량에서의 외부 디스플레이와 관련된 한계와 안전 우려를 강조합니다.

제안 방법

• MTurk를 사용하여 200명의 경험자 노동자를 모집하고 30개의 애니메이션 디스플레이 컨셉을 기본 차량 이미지 위에 시청하게 합니다.
• 데이터 품질을 보장하기 위해 주의 응답을 필터링하는 캐치 자극을 사용합니다.
• 자극을 1280x720 이미지로 제시하고 순서를 무작위로 하며 응답이 있을 때까지 무한 애니메이션으로 제공합니다.
• 참여자들이 보행자 관점에서 횡단이 안전한지 여부를 판단하도록 요구합니다(Yes/Not Sure/No).
• 각 디자인이 안전하게 보행으로 해석되는 응답 비율을 분석하고 디자이너 의도와 비교합니다.
• 신속한 데이터 수집을 위해 PostgreSQL 백엔드를 갖춘 확장 가능한 Python/HTML/Ajax 프레임워크를 제공합니다.

실험 결과

연구 질문

• RQ1 크라우드소싱 온라인 테스트가 외부 차량-보행자 디스플레이 컨셉을 신뢰성 있게 평가할 수 있는가?
• RQ2 어떤 디자인이 보행자에게 건너야 할 의도와 건너지 말아야 할 의도를 명확하게 전달하는가?
• RQ3 대규모 컨셉 집합에서 해석이 디자이너의 의도 메시지와 얼마나 일치하는가?
• RQ4 온라인 크라우드소싱을 안전에 민감한 차량-보행자 신호에 사용하는 데 어떤 한계가 있는가?

주요 결과

• 일부 디자인(예: 디자인 2 및 10)은 참가자 전체에서 의도된 ‘건너지 않음’ 신호를 잘 일치시켰다.
• 다수의 보행 지향 디자인(예: 디자인 1 및 7)은 상당수의 참가자에게 안전하게 보행으로 해석되었지만 보편적 합의는 관찰되지 않았다.
• 20개의 보행 지향 디자인 중 여덟 개는 절반 이상이 불명확하거나 ‘건너지 않음’으로 오해한다고 나타났다.
• 두 가지의 ‘건너지 않음’ 디자인은 더 나은 성과를 보였지만 보편적인 명확한 해석에 이르지는 못했다.
• 이 방법은 수 시간 이내에 다수의 디자인 변형을 빠르고 비용 효율적으로 테스트하여 초기 단계의 다듬 augment를 가능하게 한다.
• 본 연구는 오해와 혼합된 인구가 외부 디스플레이로의 전환 중 안전에 영향을 미칠 수 있음을 경고한다.