[論文レビュー] Hearing through Vibrations: Perception of Musical Emotions by Profoundly Deaf People

Anastasia Schmitz, Catherine Holloway+1 more|arXiv (Cornell University)|Dec 24, 2020

Multisensory perception and integration参考文献 53被引用数 5

ひとこと要約

本研究では、背負い型の触覚デバイスを用いて、著しい難聴を有する人々が振動覚覚フィードバックを通じて音楽の感情をどのように認識するかを調査した。結果として、参加者は幸福および怒りの音楽をより興奮状態であると的確に識別した一方、悲しみや穏やかさの楽曲は識別が難しく、聴覚障害者コミュニティ向けのアクセシブルな音楽体験のための設計指針が得られた。

ABSTRACT

Advances in tactile-audio feedback technology have created new possibilities for deaf people to feel music. However, little is known about deaf individuals' perception of musical emotions through vibrotactile feedback. In this paper, we present the findings from a mixed-methods study with 16 profoundly deaf participants. The study protocol was designed to explore how users of a backpack-style vibrotactile display perceive intended emotions in twenty music excerpts. Quantitative analysis demonstrated that participants correctly identified happy and angry excerpts and rated them as more arousing than sad and peaceful excerpts. More positive emotions were experienced during happy compared to angry excerpts while peaceful and sad excerpts were hard to be differentiated. Based on qualitative data, we highlight the benefits and limitations of using vibrations to convey musical emotions to profoundly deaf users. Finally, we provide guidelines for designing accessible music experiences for the deaf community.

研究の動機と目的

• 著しい難聴を有する人々が振動覚覚フィードバックを通じて音楽の感情的要素をどのように認識するかを調査すること。
• 振動ベースの触覚システムを通じて、どの音楽的感情が最も信頼性高く伝わるかを特定すること。
• 振動覚覚音楽体験における、肯定的（幸福、怒り）と否定的（悲しみ、穏やかさ）の感情の間の知覚的差異を理解すること。
• 聴覚障害者コミュニティに特化した、感情豊かな音楽インタラクションを実現するための設計指針を開発すること。

提案手法

• 背負い型の振動覚覚ディスプレイを用いて、16名の著しい難聴を有する参加者を対象にした混合研究手法による実験を実施した。
• 幸福、怒り、悲しみ、穏やかさの4つの感情カテゴリーを表す20の音楽断片を提示した。
• 各断片について、興奮度と感情の価値（valence）に関する定量的評価を収集した。
• ユーザーの体験、好み、振動を通じた感情的要素の解釈における課題について、定性的インタビューを実施した。
• 定量的データを統計的手法を用いて分析し、感情認識の正確性と興奮度評価の有意差を評価した。
• 研究結果を統合し、触覚音楽インターフェースの実用的設計指針を策定した。

実験結果

リサーチクエスチョン

• RQ1 幸福、怒り、悲しみ、穏やかさのうち、著しい難聴を有する人々が振動覚覚フィードバックを通じて最も的確に認識できる音楽的感情はどれか？
• RQ2 振動を通じて幸福、怒り、悲しみ、穏やかさの音楽断片を認識する際、どの程度の興奮度の違いが生じるか？
• RQ3 振動覚覚音楽認識において、肯定的（幸福、怒り）と否定的（悲しみ、穏やかさ）の感情の間で、感情体験にどのような差異が感じられるか？
• RQ4 ユーザー体験に基づいて、振動覚覚フィードバックが音楽的感情を伝える際の強みと限界は何か？

主な発見

• 参加者は、幸福および怒りの音楽断片を、悲しみや穏やかさのものよりも高い正確性で識別した。
• 幸福および怒りの断片は、悲しみおよび穏やかさの断片よりも顕著に高い興奮度として評価された。
• 幸福の音楽では、怒りの音楽よりも感情の価値が強く感じられたことから、知覚における感情の価値の違いが示された。
• 悲しみと穏やかさの断片は頻繁に混同され、触覚マッピングにおける重複するパターン、または十分な差別化が図られていないことが示唆された。
• 定性的フィードバックから、ユーザーは振動によってリズムや強度を効果的に検知できるが、繊細な感情的差異の解釈には困難を抱えていた。
• 特に低興奮度の感情に対して、複雑な感情的コンテンツを触覚信号にマッピングする際の主な設計課題が同定された。