[论文解读] Hearing through Vibrations: Perception of Musical Emotions by Profoundly Deaf People

Anastasia Schmitz, Catherine Holloway+1 more|arXiv (Cornell University)|Dec 24, 2020

Multisensory perception and integration参考文献 53被引用 5

一句话总结

本研究探讨了耳聋程度极深的个体如何通过振动触觉反馈感知音乐情感，采用背负式触觉设备。研究发现，参与者能更准确地将快乐和愤怒的音乐识别为更具唤醒度的音乐，而悲伤与平静的音乐片段则更难区分，为聋人社区的无障碍音乐体验提供了设计指导。

ABSTRACT

Advances in tactile-audio feedback technology have created new possibilities for deaf people to feel music. However, little is known about deaf individuals' perception of musical emotions through vibrotactile feedback. In this paper, we present the findings from a mixed-methods study with 16 profoundly deaf participants. The study protocol was designed to explore how users of a backpack-style vibrotactile display perceive intended emotions in twenty music excerpts. Quantitative analysis demonstrated that participants correctly identified happy and angry excerpts and rated them as more arousing than sad and peaceful excerpts. More positive emotions were experienced during happy compared to angry excerpts while peaceful and sad excerpts were hard to be differentiated. Based on qualitative data, we highlight the benefits and limitations of using vibrations to convey musical emotions to profoundly deaf users. Finally, we provide guidelines for designing accessible music experiences for the deaf community.

研究动机与目标

• 探讨耳聋程度极深的个体如何通过触觉振动反馈感知音乐中的情感内容。
• 识别通过振动式触觉系统最可靠传达的音乐情感类型。
• 理解在触觉音乐体验中，积极情绪（快乐、愤怒）与消极情绪（悲伤、平静）之间的感知差异。
• 为聋人社区量身定制的、富含情感的触觉音乐交互界面，制定设计指南。

提出的方法

• 对16名耳聋程度极深的参与者开展混合方法研究，使用背负式触觉显示设备。
• 呈现20段音乐片段，涵盖四种情感类别：快乐、愤怒、悲伤与平静。
• 收集每段音乐片段在唤醒度与情感效价方面的定量评分。
• 通过定性访谈探索用户在通过振动理解情感内容方面的体验、偏好与挑战。
• 使用统计方法分析定量数据，评估情感识别准确率与唤醒度评分。
• 将研究发现整合为可操作的触觉音乐界面设计指南。

实验结果

研究问题

• RQ1 通过触觉振动反馈，耳聋程度极深的个体对哪些音乐情感（快乐、愤怒、悲伤、平静）感知最准确？
• RQ2 通过振动感知，快乐、愤怒、悲伤与平静音乐片段的唤醒度水平有何差异？
• RQ3 在触觉音乐感知中，积极情绪（快乐、愤怒）与消极情绪（悲伤、平静）在情感体验上存在哪些感知差异？
• RQ4 基于用户经验，触觉反馈在传达音乐情感方面的优势与局限性是什么？

主要发现

• 参与者对快乐和愤怒音乐片段的识别准确率高于悲伤或平静的片段。
• 快乐和愤怒片段的唤醒度评分显著高于悲伤和平静片段。
• 在快乐音乐中，用户感受到的积极情绪强度明显高于愤怒音乐，表明感知中存在情感效价的差异。
• 悲伤与平静片段常被混淆，表明触觉映射中可能存在重叠的振动模式，或对低唤醒情绪的区分度不足。
• 定性反馈显示，用户认为振动对检测节奏与强度有效，但在把握细微情感差异方面存在困难。
• 本研究识别出将复杂情感内容映射至触觉信号时的关键设计挑战，尤其针对低唤醒情绪。