[논문 리뷰] What were you expecting? Using Expectancy Features to Predict Expressive Performances of Classical Piano Music

Carlos Cancino-Chacón, Maarten Grachten외 2명|arXiv (Cornell University)|2017. 09. 11.

Music and Audio Processing인용 수 3

한 줄 요약

이 논문은 IDyOM 계산 모델에서 유도된 기대감 특징과 점수 기술자수를 조합한 하이브리드 모델을 제안하여 고전 피아노 연주에서 표현적 템포와 다이내믹스를 예측한다. RNN 기반의 회귀 모델을 사용하여, 기대감 특징이 템포 예측 정확도를 유의하게 향상시켰음을 보여주며, R² = 0.072를 기록하지만, 다이내믹스에는 영향을 주지 못함으로써 听衆의 기대감이 연주 타이밍 형성에 기여하는 것으로 확인된다.

ABSTRACT

In this paper we present preliminary work examining the relationship between the formation of expectations and the realization of musical performances, paying particular attention to expressive tempo and dynamics. To compute features that reflect what a listener is expecting to hear, we employ a computational model of auditory expectation called the Information Dynamics of Music model (IDyOM). We then explore how well these expectancy features -- when combined with score descriptors using the Basis-Function modeling approach -- can predict expressive tempo and dynamics in a dataset of Mozart piano sonata performances. Our results suggest that using expectancy features significantly improves the predictions for tempo.

연구 동기 및 목표

• 컴퓨터 기반 청각 기대감 모델이 표현적 음악 연주 예측에 기여하는지 조사하기 위해.
• 정보 이론적 측정치로부터 유도된 기대감 특징이 표현적 템포 및 다이내믹스 모델링에서 전통적 점수 기술자와 비교하여 어떤 기여를 하는지 평가하기 위해.
• 각 연주에 맞추어 피팅하는 대신, 미리 보지 않은 음악 작품에 대해 테스트하여 모델의 일반화 능력을 평가하기 위해.
• 청취자 기대감과 템포 및 다이내믹스에서의 연주자 결정 간의 관계를 탐색하기 위해.

제안 방법

• 기대감 특징은 음악의 정보역학(IDyOM) 모델을 사용하여 계산되며, 이는 멜로디적·화성적 사건에 대한 정보량(IC)과 엔트로피(H)를 추정한다.
• 점수 기능은 음정, 지속시간, 리듬 밀도를 포함하며, 음악 점수에서 유도된 저수준 기술자이다.
• 표현적 템포는 비트 주기 비율(BPR)로 모델링되고, 다이내믹스는 정규화된 MIDI 속도(VEL)로 모델링되며, 이들의 일阶 도함수(BPR_d, VEL_d)도 사용된다.
• 기대감 특징과 점수 기능의 조합을 사용하여 표현적 매개변수를 예측하기 위해 순환 신경망(RNN)을 훈련시키며, 평균 제곱오차를 최소화한다.
• 모델 성능 평가에는 R²와 피어슨 상관계수(r)를 사용하고, Batik/Mozart 코퍼스에서 5겹 교차검증을 실시한다.
• 민감도 분석을 위해 2차원 미분 민감도 맵을 사용하여 특징이 모델 출력에 기여하는 방식을 시각화한다.

실험 결과

연구 질문

• RQ1 청각 기대감의 계산 모델에서 유도된 기대감 특징이 피아노 연주에서 표현적 템포 및 다이내믹스의 예측에 기여하는가?
• RQ2 기대감 특징은 전통적 점수 기술자와 비교하여 표현적 매개변수 예측 능력에서 어떤 차이를 보이는가?
• RQ3 기대감 특징과 점수 기능을 조합하면, 미리 보지 않은 음악 작품에서 더 나은 일반화 성능을 얻을 수 있는가?
• RQ4 기대감 측정치(IC, H 등)와 템포 및 다이내믹스에서의 연주자 결정 간에 체계적인 관계가 존재하는가?

주요 결과

• 기대감 특징을 점수 기능과 조합한 E+S 모델은 표현적 템포 예측 성능을 유의미하게 향상시켰으며, R² = 0.072를 기록했고, 기대감 전용(E) 모델의 경우 0.038, 점수 전용(S) 모델의 경우 0.065에 비해 높았다.
• BPR_d(템포 도함수)의 경우, E+S 모델이 E 및 S 모델보다 통계적으로 유의미한 향상을 보였으며, R² = 0.124를 기록했다.
• 기대감 특징은 다이내믹스 예측에 유의미한 향상을 주지 못했다: VEL의 최고 R²는 0.312(E+S), VEL_d의 경우 0.230였으며, 점수 전용 기능에 비해 명확한 이점이 없었다.
• 민감도 분석 결과, 예측 불가능한(고 IC 또는 H) 다음 이벤트가 예정된 경우 연주자가 느리게 하며, 이전 이벤트가 불확실한 경우 빨라지는 경향이 있었고, 이는 인지 부하 감소와 일치했다.
• 결과적으로 기대감 특징은 다이내믹스보다 템포 예측에 더 관련성이 높으며, 이는 구조적 연관성(예: 구절 종료 리타르단디 등)이 강하기 때문일 수 있다.
• 모델의 성능 지표(R² 및 r)는 쇼팽 음악에 대한 Basis-Function 모델링을 사용한 이전 연구에서 보고된 수준과 유사하여 강력한 예측 타당성을 입증한다.