[논문 리뷰] On the Characterization of Expressive Performance in Classical Music: First Results of the Con Espressione Game

Carlos Cancino-Chacón, Silvan Peter외 3명|arXiv (Cornell University)|2020. 08. 05.

Music and Audio Processing인용 수 4

한 줄 요약

이 논문은 45편의 고전 피아노 연주에 대한 청취자들이 생성한 1,500개의 표현적 특성 기술어를 담은 온라인 데이터셋인 Con Espressione Game(CEG)를 소개한다. 자연어 기술을 통해 '진정된 vs. 분노한'과 같은 네 가지 핵심 표현적 차원을 규명하고, 특히 가장 해석 가능한 축인 '진정된 vs. 분노한'에 대해 표현적 매개변수(예: 음량, 템포)가 이들 차원을 유의미하게 예측함을 보여준다.

ABSTRACT

A piece of music can be expressively performed, or interpreted, in a variety of ways. With the help of an online questionnaire, the Con Espressione Game, we collected some 1,500 descriptions of expressive character relating to 45 performances of 9 excerpts from classical piano pieces, played by different famous pianists. More specifically, listeners were asked to describe, using freely chosen words (preferably: adjectives), how they perceive the expressive character of the different performances. In this paper, we offer a first account of this new data resource for expressive performance research, and provide an exploratory analysis, addressing three main questions: (1) how similarly do different listeners describe a performance of a piece? (2) what are the main dimensions (or axes) for expressive character emerging from this?; and (3) how do measurable parameters of a performance (e.g., tempo, dynamics) and mid- and high-level features that can be predicted by machine learning models (e.g., articulation, arousal) relate to these expressive dimensions? The dataset that we publish along with this paper was enriched by adding hand-corrected score-to-performance alignments, as well as descriptive audio features such as tempo and dynamics curves.

연구 동기 및 목표

• 자연어로 기술된 표현적 피아노 연주의 특성에 대해 청취자 간 일관성의 정도를 조사하기 위해.
• 청취자들이 표현적 연주를 기술할 때 기반을 이룬 주요 지각적 차원을 규명하기 위해.
• 측정 가능한 음향 연주 매개변수(예: 템포, 음량)와 중간 및 고급 수준의 특징(예: 각성도, 정서적 밸런스)이 인식된 표현적 특성과 어떻게 관련되어 있는지 분석하기 위해.
• 향후 표현적 연주 연구를 위해 점수-연주 일치 정보와 기술적 음향 특징이 포함된 풍부하게 애너테이션된 데이터셋을 제작하고 공개하기 위해.

제안 방법

• 45편의 고전 피아노 곡 9편에 대해 청취자들이 온라인 Con Espressione Game(CEG)를 통해 기여한 자유형 어휘 기술어 1,500개를 수집하였다.
• 기술효과의 의미 공간을 4개의 주요 표현적 특성 차원으로 압축하기 위해 다차원 척도법(MDS)을 적용하였다.
• 정재-로 변수 선택 기법을 사용한 다중선형회귀(MLR)를 통해 세 가지 특징 집합(표현적 매개변수, 중간 수준 특징(예: 연주 방식, 각성도), 고급 수준 특징(예: 정서적 밸런스, 에너지))의 예측 능력을 시험하였다.
• 수동으로 수정한 점수-연주 일치 정보와 템포, 음량 곡선 등의 음향 특징을 데이터셋에 추가하였다.
• 의미 유사도 평가를 위해 자연어 처리(NLP) 기법을 활용하였지만, 은유어와 맥락 의존적 어휘로 인해 한계가 있음을 지적하였다.
• 청취자 선호도와 훈련 효과를 분석하여 음악 전문성의 유무가 기술의 복잡성과 인식에 어떤 영향을 미치는지 탐색하였다.

실험 결과

연구 질문

• RQ1 동일한 표현적 연주에 대해 청취자들이 얼마나 일관되게 특성 기술을 내놓는가?
• RQ2 청취자들이 자유형 어휘로 표현적 특성을 기술할 때 지배적인 주요 지각적 차원은 무엇인가?
• RQ3 측정 가능한 연주 매개변수(예: 템포, 음량)와 중간 및 고급 수준의 특징(예: 각성도, 정서적 밸런스)은 식별된 표현적 특성 차원과 어떻게 관련되어 있는가?
• RQ4 청취자 선호도와 음악적 훈련은 기술 응답의 복잡성과 내용에 어떤 영향을 미치는가?

주요 결과

• 청취자들은 동일한 연주에 대해 중간에서 높은 수준의 일관성을 보이며, 기술의 복잡성과 음악적 훈련 수준 간에 약간의 양의 상관관계를 보였다.
• 네 가지 주요 표현적 특성 차원이 규명되었으며, 각각 (1) '부드럽고 진정된' 대비 '분주하고 분노한', (2) '따뜻한' 대비 '차가운', (3) '흐르는' 대비 '딱딱한', (4) '우아한' 대비 '거친'이다.
• 표현적 매개변수(예: 음량, 템포)는 모든 네 가지 차원을 의미 있게 예측하며, 중간 정도의 결정계수(R²)를 보이며, 특히 차원 1('진정된 vs. 분노한')과 가장 강하게 연관되어 있다.
• 중간 수준 특징은 차원 1과 4를 예측하고, 고급 수준 특징은 차원 1과 3를 예측함으로써, 차원 1이 측정 가능한 연주 특징과 가장 체계적으로 연관되어 있음을 시사한다.
• 소리의 강도 이상치와 비정상적인 정서적 밸런스 곡선은 '분노한' 또는 '비정상적인' 특성으로 인식되며, 더 부드럽고 안정적인 음량은 '진정된' 또는 '우아한' 기술과 관련되어 있다.
• 무감정적인 연주와 글렌 골드의 독특한 해석은 가장 낮은 선호도를 보였으며, 이는 청취자들이 정량적으로 평균적인 표현 스타일을 선호한다는 것을 시사한다.