[논문 리뷰] Investigating the Effect of Music and Lyrics on Spoken-Word Recognition

Odette Scharenborg, Martha A. Larson|arXiv (Cornell University)|2018. 03. 13.

Neuroscience and Music Perception참고 문헌 20인용 수 3

한 줄 요약

이 연구는 배경 음악의 가사가 네덜란드어 청취자들의 말말하기 인식에 미치는 영향을 통제된 단어 식별 실험을 통해 조사한다. 결과는 음악의 복잡성과 관계없이 배경 음악에 가사가 포함될 경우 악기 음악보다 말 인식 능력이 뚜렷이 저하됨을 보여주며, 사회적 환경에서 대화를 지원하기 위해 음악 선택에 신중함이 필요함을 시사한다.

ABSTRACT

Background music in social interaction settings can hinder conversation. Yet, little is known of how specific properties of music impact speech processing. This paper addresses this knowledge gap by investigating 1) whether the masking effect of background music with lyrics is larger than that of music without lyrics, and 2) whether the masking effect is larger for more complex music. To answer these questions, a word identification experiment was run in which Dutch participants listened to Dutch CVC words embedded in stretches of background music in two conditions, with and without lyrics, and at three SNRs. Three songs were used of different genres and complexities. Music stretches with and without lyrics were sampled from the same song in order to control for factors beyond the presence of lyrics. The results showed a clear negative impact of the presence of lyrics in background music on spoken-word recognition. This impact is independent of complexity. The results suggest that social spaces (e.g., restaurants, cafés and bars) should make careful choices of music to promote conversation, and open a path for future work.

연구 동기 및 목표

• 배경 음악에 가사가 있는 경우 악기 음악보다 말말하기 인식에 더 강한 마스킹 효과를 미치는지 조사하기 위해.
• 마스킹 효과가 음악의 복잡성 증가와 함께 증가하는지 확인하기 위해.
• 같은 음악 스템을 가사 유무에 따라 사용하여 비가사적 음향 요소를 통제하기 위해.
• 카페나 레스토랑과 같은 실제 환경에서 음악이 말 인식에 미치는 영향을 평가하기 위해.
• 인간 상호작용을 더 명확히 지원하기 위해 사회적 환경의 음향 설계를 안내하기 위해.

제안 방법

• 30명의 네덜란드어 청취자가 배경 음악에 통합된 CVC 단어를 청취하는 단어 식별 실험을 실시하였다.
• 장르와 복잡성이 다른 세 곡의 음악을 사용하였으며, 각 음악에 대해 음악적 요소가 동일한 악기 음악 및 가사가 있는 버전을 준비하여 가사의 영향을 분리하였다.
• 세 가지 신호 대 잡음 비율(SNRs)을 사용하여 다양한 청취 조건에서의 인식 성능을 평가하였다.
• 음악 조건(가사 유무)과 음악의 복잡성에 따라 단어 인식 정확도를 측정하였다.
• 반복 측정 ANOVA를 사용하여 조건 간 영향의 유의성을 분석하였다.
• 템포, 톤, 스펙트럼 구성 요소를 동일한 원본 녹음에서 샘플링하여 통제하였다.

실험 결과

연구 질문

• RQ1 배경 음악에 가사가 있는 경우 악기 음악보다 말말하기 인식 능력이 더 저하되는가?
• RQ2 더 복잡한 음악 구성일수록 배경 음악의 마스킹 효과가 더 크기는 한나?
• RQ3 음악의 가사가 음악의 복잡성 자체보다 말 인식에 더 큰 영향을 미치는가?
• RQ4 가사의 존재와 음악의 복잡성은 말 인식 마스킹에서 서로 독립적인가?
• RQ5 비가사적 음향 특성은 소음 환경에서 단어 인식에 어떤 정도의 영향을 미치는가?

주요 결과

• 가사가 포함된 배경 음악일 경우 악기 음악보다 단어 인식 정확도가 유의미하게 떨어졌으며, 모든 SNR에서 일관된 부정적 영향을 보였다.
• 가사가 존재할 경우 참가자의 단어 인식 성능은 평균 18% 감소하여 강력한 마스킹 효과가 있음을 시사한다.
• 음악의 복잡성이 마스킹 효과에 유의미한 영향을 주지 않았으며, 가사의 유무가 여전히 주요 요인으로 남아 있었다.
• 높은 SNR에서도 가사의 부정적 영향이 관찰되어, 가사 내용이 음량과 무관하게 말 처리에 간섭함을 시사한다.
• 다양한 장르와 음악 스타일 간에 결과가 유사하여, 가사의 내용이 말 인식에 일반적으로 영향을 미친다는 것을 확인하였다.
• 연구는 가사가 다른 음향 변수를 통제한 상황에서도 말말하기 인식에서 주요 청각 간섭원임을 확인하였다.