[논문 리뷰] Exploring the Impacts of Background Noise on Auditory Stimuli of Audio-Visual eHMIs for Hearing, Deaf, and Hard-of-Hearing People

Wenge Xu, Foroogh Hajiseyedjavadi외 3명|arXiv (Cornell University)|2026. 01. 19.

Human-Automation Interaction and Safety인용 수 0

한 줄 요약

이 연구는 VR 보행 건널목 과제를 사용하여 조용한 배경 소음과 큰 소음 및 청각 eHMI 유형(기준, 벨, 음성)이 청각 보행자와 Deaf/Hard-of-Hearing(DHH) 보행자의 건널목 경험과 행동에 어떤 영향을 미치는지 조사한다.

ABSTRACT

External Human-Machine Interfaces (eHMIs) have been proposed to enhance communication between automated vehicles (AVs) and pedestrians, with growing interest in multi-modal designs such as audio-visual eHMIs. Just as poor lighting can impair visual cues, a loud background noise may mask the auditory stimuli. However, its effects within these systems have not been examined, and little is known about how pedestrians -- particularly Deaf and Hard-of-Hearing (DHH) people -- perceive different types of auditory stimuli. We conducted a virtual reality study (Hearing N=25, DHH N=11) to examine the effects of background noise (quiet and loud) on auditory stimuli (baseline, bell, speech) within an audio-visual eHMI. Results revealed that: (1) Crossing experiences of DHH pedestrians significantly differ from Hearing pedestrians. (2) Loud background noise adversely affects pedestrians' crossing experiences. (3) Providing an additional auditory eHMI (bell/speech) improves crossing experiences. We outlined four practical implications for future eHMI design and research.

연구 동기 및 목표

• Deaf and Hard-of-Hearing 보행자를 위한 접근성 평가를 통해 포용적 eHMI 설계 동기를 부여한다.
• 음성-시각 eHMI 동안 배경 소음이 음향 자극과 상호 작용하는 방식을 조사한다.
• 다른 소음 및 청각 조건에서 Hearing과 DHH 참가자 간의 건널목 경험과 행동을 비교한다.
• 다중 모달 eHMI 설계가 안전성과 포용성을 향상시키기 위한 설계 시사점을 제공한다.

제안 방법

• Unity의 VR 거리 건널목 시나리오를 사용해 자율주행 차량이 있는 도시 도로 건널목을 시뮬레이션한다.
• 2x3 within-subjects 설계: Background Noise (Quiet vs. Loud) 및 Auditory Stimuli (Baseline, Bell, Speech).
• 고정된 시각적 신호와 청각 신호(Speech 또는 Bell) 및 Baseline 자연 차량음으로 구성된 음향-시각 eHMI를 차량에 구현한다.
• 두 가지 주변 도시 소리 조건(Quiet ~58-64 dB; Loud ~70-79 dB)을 조작하고 예측 가능성을 피하기 위해 재생 시작을 무작위화한다.
• 주관적 건널목 경험( NASA-TLX, Trust in Automation, Perceived Safety, Acceptance) 및 객관적 행동(Eye gaze, Step Into Road Time, Early Step Into Road Count)을 측정한다.
• 정규성 위배 및 작은 표본으로 인해 비모수 LD-형 ANOVA(nparLD)로 데이터를 분석하고 사후 검정은 Bonferroni 보정을 적용한다.

Figure 1. Setup of the virtual simulation environment: The left figure shows a top-down view, while the right figure shows a leftward view. a) The starting position of the participant, which is 4.7 m from the road. b) The 2 m wide grey pavement area, which has a trigger to inform one of the AVs to y

실험 결과

연구 질문

• RQ1 RQ1: 청각 보행자와 DHH 참가자는 조건 간에 건널목 경험과 행동에서 어떻게 차이가 나타나는가?
• RQ2 RQ2: 배경 소음 수준이 보행자의 건널목 경험과 행동에 어떤 영향을 미치는가?
• RQ3 RQ3: 음향-시각 eHMI의 청각 자극(Baseline, Bell, Speech)은 경험과 행동에 어떤 영향을 주는가?
• RQ4 RQ4: 다중 모달 eHMI 신호가 AV 건널목에서 접근성과 안전성에 실질적인 개선을 제공하는가?

주요 결과

• 큰 배경 소음은 모든 참가자에서 eHMI에 대한 신뢰에 유의미한 영향을 미친다.
• 청각 자극은 신뢰와 지각된 안전성에 영향을 주며, Auditory Stimuli에 대해 유의미한 주효과가 있다.
• Hearing과 DHH 그룹 간의 건널목 경험에 차이가 있어 접근성에 대한 차별적 고려가 필요하다.
• 추가적인 청각 eHMI(벨 또는 음성)를 제공하면 특정 조건에서 건널목 경험이 향상된다.
• 눈동자 시선 및 행동 지표는 조건 간에 차이가 있으며 안전성과 사용성 측면에서 다중 모달 eHMI의 이점을 뒷받침한다.
• 연구는 향후 eHMI 설계 및 연구를 위한 네 가지 실용적 시사점을 제시한다.

Figure 2. The appearance of the AV used in our study, where a human avatar sits in the driver’s seat but does not engage with the vehicle. Active mode of i) the Light Strip and ii) the Display when the AV was fully stopped.