[논문 리뷰] Hearing through Vibrations: Perception of Musical Emotions by Profoundly Deaf People

Anastasia Schmitz, Catherine Holloway외 1명|arXiv (Cornell University)|2020. 12. 24.

Multisensory perception and integration참고 문헌 53인용 수 5

한 줄 요약

이 연구는 배낭형 촉각 장치를 사용하여 청각 장애가 심한 사람들이 진동 촉각 피드백을 통해 음악적 감정을 어떻게 인식하는지 조사한다. 결과로 참가자들은 기쁨과 분노를 더 자극적인 감정으로 정확히 식별한 반면, 슬픔과 평화로운 음악은 더 잘 구분되지 않았으며, 청각 장애 공동체를 위한 접근 가능한 음악 경험을 위한 설계 지침을 제공한다.

ABSTRACT

Advances in tactile-audio feedback technology have created new possibilities for deaf people to feel music. However, little is known about deaf individuals' perception of musical emotions through vibrotactile feedback. In this paper, we present the findings from a mixed-methods study with 16 profoundly deaf participants. The study protocol was designed to explore how users of a backpack-style vibrotactile display perceive intended emotions in twenty music excerpts. Quantitative analysis demonstrated that participants correctly identified happy and angry excerpts and rated them as more arousing than sad and peaceful excerpts. More positive emotions were experienced during happy compared to angry excerpts while peaceful and sad excerpts were hard to be differentiated. Based on qualitative data, we highlight the benefits and limitations of using vibrations to convey musical emotions to profoundly deaf users. Finally, we provide guidelines for designing accessible music experiences for the deaf community.

연구 동기 및 목표

• 청각 장애가 심한 사람들이 진동 기반 촉각 피드백을 통해 음악의 감정적 요소를 어떻게 인식하는지 조사하기.
• 진동 기반 촉각 시스템을 통해 가장 신뢰성 있게 전달되는 음악적 감정을 특정하기.
• 촉각 기반 음악 경험에서 긍정적 감정(기쁨, 분노)과 부정적 감정(슬픔, 평화로움) 간의 인지적 차이를 이해하기.
• 청각 장애 공동체를 위한 접근 가능하고 감정이 풍부한 음악 상호작용을 설계하기 위한 지침 개발하기.

제안 방법

• 16명의 청각 장애가 심한 참가자를 대상으로 혼합 방법 연구를 수행하였으며, 배낭형 촉각 디스플레이를 사용하였다.
• 기쁨, 분노, 슬픔, 평화로움의 네 가지 감정 범주를 대표하는 20개의 음악 샘플을 제시하였다.
• 각 음악 샘플에 대해 자극도와 감정의 정서적 평가를 정량적으로 평가하였다.
• 사용자 경험, 선호도, 진동을 통한 감정 내용 해석의 과제를 탐색하기 위해 정성적 인터뷰를 실시하였다.
• 정량적 데이터를 통계적 방법을 사용하여 감정 인식 정확도와 자극도 평가를 분석하였다.
• 결과를 종합하여 촉각 음악 인터페이스를 위한 실행 가능한 설계 지침을 도출하였다.

실험 결과

연구 질문

• RQ1 기쁨, 분노, 슬픔, 평화로움 중 어떤 음악적 감정이 청각 장애가 심한 사람들이 진동 촉각 피드백을 통해 가장 정확하게 인식하는가?
• RQ2 기쁨, 분노, 슬픔, 평화로움 음악 샘플의 진동을 통한 자극도 수준은 어떻게 다를까?
• RQ3 촉각 기반 음악 인식에서 긍정적 감정(기쁨, 분노)과 부정적 감정(슬픔, 평화로움) 간의 감정 경험에 차이가 있는가?
• RQ4 사용자 경험 기반으로 진동 촉각 피드백이 음악적 감정을 전달하는 데의 강점과 한계는 무엇인가?

주요 결과

• 참가자들은 슬픔이나 평화로움보다 기쁨과 분노 음악 샘플을 더 정확하게 식별하였다.
• 기쁨과 분노 샘플은 슬픔과 평화로움 샘플보다 유의미하게 더 자극적인 것으로 평가되었다.
• 기쁨 음악에서는 분노 음악보다 감정의 정서적 평가가 더 강하게 경험되었으며, 이는 감정의 정서적 평가에 차이가 있음을 시사한다.
• 슬픔과 평화로움 샘플은 자주 혼동되었으며, 이는 촉각 매핑에서 겹치는 패턴이나 충분한 구분이 부족하기 때문일 가능성이 있다.
• 정성적 피드백에 따르면 사용자들은 진동을 통해 리듬과 강도를 효과적으로 감지할 수 있었지만, 미세한 감정적 차이를 구분하는 데 어려움을 겪었다.
• 복잡한 감정적 요소를 촉각 신호로 매핑하는 데 있어 주요 설계 과제를 밝혀냈으며, 특히 저자극도 감정에 대해 더욱 그렇다.