[论文解读] Exploring the Impacts of Background Noise on Auditory Stimuli of Audio-Visual eHMIs for Hearing, Deaf, and Hard-of-Hearing People

Wenge Xu, Foroogh Hajiseyedjavadi+3 more|arXiv (Cornell University)|Jan 19, 2026

Human-Automation Interaction and Safety被引用 0

一句话总结

该研究使用VR过马路任务来考察安静与嘈杂背景噪声以及听觉eHMI类型（基线、铃声、语音）对有听力障碍及听力正常行人过马路体验与行为的影响。

ABSTRACT

External Human-Machine Interfaces (eHMIs) have been proposed to enhance communication between automated vehicles (AVs) and pedestrians, with growing interest in multi-modal designs such as audio-visual eHMIs. Just as poor lighting can impair visual cues, a loud background noise may mask the auditory stimuli. However, its effects within these systems have not been examined, and little is known about how pedestrians -- particularly Deaf and Hard-of-Hearing (DHH) people -- perceive different types of auditory stimuli. We conducted a virtual reality study (Hearing N=25, DHH N=11) to examine the effects of background noise (quiet and loud) on auditory stimuli (baseline, bell, speech) within an audio-visual eHMI. Results revealed that: (1) Crossing experiences of DHH pedestrians significantly differ from Hearing pedestrians. (2) Loud background noise adversely affects pedestrians' crossing experiences. (3) Providing an additional auditory eHMI (bell/speech) improves crossing experiences. We outlined four practical implications for future eHMI design and research.

研究动机与目标

• 通过评估聋人及听力障碍行人的无障碍性，推动包容性eHMI设计。
• 研究背景噪声如何与音视频eHMI中的听觉刺激互动，影响街道横穿。
• 在不同噪声与听觉条件下，比较听力正常与DHH参与者的过马路体验与行为。
• 为多模态eHMI设计提供提高安全性与包容性的设计要点。

提出的方法

• 在Unity中使用VR街道横穿场景来模拟自动驾驶车辆的城市道路横穿。
• 采用2x3被试内设计：背景噪声（安静 vs 吵）和听觉刺激（基线、铃声、语音）。
• 在车辆上实现带固定视觉线索的音视eHMI，并提供听觉线索（语音或铃声）以及基线自然车声。
• 操控两种城市环境噪声水平（安静 ~58-64 dB；嘈杂 ~70-79 dB），并随机化播放起始以避免可预测性。
• 测量主观过马路体验（NASA-TLX、对自动化的信任、感知安全、接受度）和客观行为（凝视、踏入道路时间、提前踏入道路次数）。
• 因数据不符合正态分布且样本量较小，使用非参数LD型ANOVA（nparLD）进行分析；事后检验采用Bonferroni校正。

Figure 1. Setup of the virtual simulation environment: The left figure shows a top-down view, while the right figure shows a leftward view. a) The starting position of the participant, which is 4.7 m from the road. b) The 2 m wide grey pavement area, which has a trigger to inform one of the AVs to y

实验结果

研究问题

• RQ1 RQ1: 听力正常与DHH参与者在不同条件下的过马路体验与行为有何差异？
• RQ2 RQ2: 背景噪声水平如何影响行人的过马路体验与行为？
• RQ3 RQ3: 音视eHMI的听觉刺激（基线、铃声、语音）如何影响体验与行为？
• RQ4 RQ4: 多模态eHMI线索是否为AV横穿中的可行性与安全性带来实际改进？

主要发现

• 嘈杂背景噪声显著影响所有参与者对eHMI的信任。
• 听觉刺激影响信任与感知安全，听觉刺激存在显著的主效应。
• 听力正常组与DHH组在过马路体验上存在差异，指向不同的无障碍性考量。
• 在某些条件下，提供额外的听觉eHMI（铃声或语音）可改善过马路体验。
• 眼动与行为测量在不同条件间存在差异，支持多模态eHMI在安全性与可用性方面的潜在收益。
• 研究提出未来eHMI设计与研究的四项实际性启示。

Figure 2. The appearance of the AV used in our study, where a human avatar sits in the driver’s seat but does not engage with the vehicle. Active mode of i) the Light Strip and ii) the Display when the AV was fully stopped.