[论文解读] Comparison of a Head-Mounted Display and a Curved Screen in a Multi-Talker Audiovisual Listening Task

Gerard Llorach, Maartje M. E. Hendrikse+2 more|arXiv (Cornell University)|Apr 3, 2020

Hearing Loss and Rehabilitation被引用 4

一句话总结

本研究在三种视觉条件下（仅音频、虚拟角色、视频录像）比较了头戴式显示器（HMD）与曲面屏（CS）在多说话人视听听音任务中的表现。结果显示，老年正常听力参与者更偏好曲面屏而非头戴式显示器，且视频录像作为视觉条件最受欢迎，表明尽管在必要时头戴式显示器仍具可行性，但在听力研究环境中，曲面屏搭配视频录像应为最优选择。

ABSTRACT

Introduction: Virtual audiovisual technology and its methodology has yet to be established for psychoacoustic research. This study examined the effects of different audiovisual conditions on preference when listening to multi-talker conversations. The study's goal is to explore and assess audiovisual technologies in the context of hearing research. Methods: The participants listened to audiovisual conversations between four talkers. Two displays were tested and compared: a curved screen (CS) and a head-mounted display (HMD). Using three visual conditions (audio-only, virtual characters and video recordings), three groups of participants were tested: seventeen young normal-hearing, ten older normal-hearing, and ten older hearing-impaired listeners. Results: Open interviews showed that the CS was preferred over the HMD for older normal-hearing participants and that video recordings were the preferred visual condition. Young and older hearing-impaired participants did not show a preference between the CS and the HMD. Conclusions: CSs and video recordings should be the preferred audiovisual setup of laboratories and clinics, although HMDs and virtual characters can be used for hearing research when necessary and suitable.

研究动机与目标

• 评估不同视听显示技术（头戴式显示器（HMD）与曲面屏（CS））对多说话人听音任务中听者偏好的影响。
• 评估视觉条件（仅音频、虚拟角色、视频录像）对用户偏好及听音表现的影响。
• 确定听力状况（年轻正常听力、老年正常听力、老年听力障碍）是否调节对HMD与CS的偏好。
• 为听力研究实验室和临床环境中的视听系统选择提供基于证据的建议。

提出的方法

• 参与者在三种视觉条件下（仅音频、虚拟角色、视频录像）接触包含四位说话人的视听对话。
• 测试了两种显示类型：头戴式显示器（HMD）与曲面屏（CS），两者在受控条件下呈现相同的视听刺激。
• 采用被试内设计，参与者完成所有显示类型与视觉条件组合的听音任务。
• 通过开放式访谈评估偏好，以收集关于感知舒适度、真实感与可用性的定性反馈。
• 共收集了17名年轻正常听力、10名老年正常听力及10名老年听力障碍受试者的数据。
• 统计分析聚焦于识别听力群体与显示类型之间偏好模式的差异。

实验结果

研究问题

• RQ1 在多说话人视听听音任务中，显示设备的选择（HMD与CS）是否显著影响听者偏好？
• RQ2 在不同听力群体中，哪种视觉条件——仅音频、虚拟角色或视频录像——最受青睐？
• RQ3 与年轻或听力障碍受试者相比，老年正常听力受试者是否对某一显示类型表现出更强的偏好？
• RQ4 听力状况在多大程度上调节对HMD与曲面屏在视听听音任务中的偏好？

主要发现

• 老年正常听力参与者明确偏好曲面屏（CS）而非头戴式显示器（HMD）。
• 在所有视觉条件中，视频录像最受老年正常听力参与者青睐。
• 年轻及老年听力障碍参与者在HMD与CS之间未表现出显著偏好差异。
• 尽管未报告性能差异，老年正常听力参与者认为HMD在舒适度与真实感方面表现较差。
• 本研究结论认为，在听力研究实验室与临床环境中，应优先采用曲面屏搭配视频录像的视听设置。
• 当必要时，HMD与虚拟角色仍为可行选择，但对大多数用户群体而言，其偏好低于CS与视频录像。