[논문 리뷰] On Perceived Emotion in Expressive Piano Performance: Further Experimental Evidence for the Relevance of Mid-level Perceptual Features

Shreyan Chowdhury, Gerhard Widmer|arXiv (Cornell University)|2021. 07. 28.

Music and Audio Processing참고 문헌 16인용 수 4

한 줄 요약

이 연구는 바흐의 웰템퍼드 클라비어 1권을 연주한 6명의 유명 피아니스트의 연주에서 인식된 정서(활동도 및 정서성)를 예측하는 데 있어 중위수 청각적 특징의 역할을 조사한다. 인간이 평가한 정서 점수와 저수준 음성, 점수 기반, 사전 훈련된 정서 특징, 중위수 청각적 특징을 포함한 다양한 특징 세트를 사용하여, 중위수 청각적 특징이 모든 다른 특징 세트보다 성능 기반 정서 변동을 더 잘 포착함을 입증한다. 특히 이질적인 연주에서 두드러지게 나타나며, 표현적인 음악 정서 인식에서의 핵심적 역할을 강조한다.

ABSTRACT

Despite recent advances in audio content-based music emotion recognition, a question that remains to be explored is whether an algorithm can reliably discern emotional or expressive qualities between different performances of the same piece. In the present work, we analyze several sets of features on their effectiveness in predicting arousal and valence of six different performances (by six famous pianists) of Bach's Well-Tempered Clavier Book 1. These features include low-level acoustic features, score-based features, features extracted using a pre-trained emotion model, and Mid-level perceptual features. We compare their predictive power by evaluating them on several experiments designed to test performance-wise or piece-wise variations of emotion. We find that Mid-level features show significant contribution in performance-wise variation of both arousal and valence -- even better than the pre-trained emotion model. Our findings add to the evidence of Mid-level perceptual features being an important representation of musical attributes for several tasks -- specifically, in this case, for capturing the expressive aspects of music that manifest as perceived emotion of a musical performance.

연구 동기 및 목표

• 표현적인 피아노 연주에서 인식된 정서(활동도 및 정서성)를 예측하는 데 있어 다양한 음악적 특징 수준의 기여를 분리해내는 것.
• 중위수 청각적 특징이 저수준 음성 또는 점수 기반 특징보다 성능 기반 정서적 특성을 더 잘 포착할 수 있는지 평가하는 것.
• 사전 훈련된 정서 모델과 중위수 청각적 특징이 같은 음악 작품을 다른 피아니스트가 연주한 경우의 정서 변동을 모델링하는 데 있어 예측 능력을 평가하는 것.
• 중위수 청각적 특징이 정서 표현에서 평균에서 크게 벗어난 이질적인 연주로 일반화 가능한지 조사하는 것.

제안 방법

• 바흐의 웰템퍼드 클라비어 1권의 6개 완전 음반에서 48首 곡의 첫 8마디에 대한 인간의 정서 평가(활동도 및 정서성)를 수집하였다.
• 네 가지 특징 세트를 추출하였다: 저수준 음성 특징(예: 스펙트럼, 시간적 특성), 점수 기반 특징(예: 모드, 음고, 공격 속도), 사전 훈련된 정서 모델 특징, 중위수 청각적 특징(예: 템포, 발음 방식, 다이내믹 변동).
• 선형 회귀 모델을 이 특징들에 대해 훈련하여 활동도와 정서성을 예측하였으며, 성능 기반 및 곡 기반 변동 실험을 실시하였다.
• 활동도-정서성 공간에서 타원형 외곽선 방법을 사용해 이질적인 연주를 식별하여, 이질적인 해석에 대한 일반화 능력을 테스트하였다.
• 각 특징 세트에 대해 로지스틱 회귀를 사용하여 4분면 기반 레이블(행복, 안정, 슬픔, 분노)을 사용한 이산 정서 분류를 평가하였다.
• 정서 분류에 대해 떠나보내기 교차검증을 사용하였으며, 모델 성능 비교를 위해 회귀 과제의 R² 점수를 보고하였다.

실험 결과

연구 질문

• RQ1 중위수 청각적 특징은 같은 음악 작품의 서로 다른 연주에서 인식된 정서(활동도 및 정서성)를 신뢰성 있게 예측할 수 있는가?
• RQ2 성능 기반 정서 변동을 모델링하는 데 있어 중위수 청각적 특징은 저수준 음성 특징, 점수 기반 특징, 사전 훈련된 정서 모델 특징보다 예측 능력이 뛰어나게 되는가?
• RQ3 중위수 청각적 특징은 정서 표현에서 평균에서 크게 벗어난 이질적인 연주로 일반화할 수 있는가?
• RQ4 중위수 청각적 특징은 음악 추천 시스템에 관련된 이산 정서 분류 과제에서 이점이 있는가?

주요 결과

• 중위수 청각적 특징은 활동도 및 정서성의 성능 기반 변동을 모두 예측하는 데 있어 모든 다른 특징 세트보다 유의미하게 뛰어나며, 사전 훈련된 정서 모델보다 높은 R² 점수를 기록하였다.
• 타원형 외곽선 기반 이질성 탐지 방법을 통해 48개의 연주(글렌 골드 13건, 프리드리히 구르다 10건 등)가 정서적으로 뚜렷하게 다름을 식별하였고, 중위수 청각적 특징이 이 테스트 세트에서 가장 강력한 예측 성능을 보였다.
• 점수 기반 특징은 정서성 예측에서 놀랍게 잘 수행되었는데, 주로 모드 특징이 정서성과 강한 상관관계를 보였기 때문이다. 특히 정서성 변동은 활동도 변동보다 일반적으로 더 작았기 때문이다.
• 이산 정서 분류 과제에서는 모든 특징 세트가 유사하게 수행되었지만, 중위수 청각적 특징이 略유의 우월성을 보였으며, 무작위 기준 0.25를 뛰어넘는 유의미한 정확도를 기록하였다.
• 중위수 청각적 특징은 강건성과 해석 가능성 면에서 뛰어나, 설명 가능한 정서 인식 및 정서 인식 앱, 음악 추천, 생성 음악과 같은 애플리케이션에 이상적이다.
• 결과적으로 중위수 청각적 특징이 표현적이고 연주자에 따라 달라지는 음악 연주에서의 정서적 특성을 포착하는 데 효과적이며, 필수적이라는 것이 확인되었다.