[논문 리뷰] Bach or Mock? A Grading Function for Chorales in the Style of J.S. Bach

Alexander Fang, Alisa Liu외 2명|arXiv (Cornell University)|2020. 06. 23.

Music and Audio Processing참고 문헌 12인용 수 6

한 줄 요약

이 논문은 J.S. 바흐의 스타일을 따르는 4악장 성악곡의 스타일적 진정성을 평가하기 위해 학습 가능하고 해석 가능한 평가 함수를 제안한다. 이 함수는 음고, 리듬, 간격, 화성, 평행 간격, 반복 구간 등을 포함한 10개의 음악적 특징을 사용하며, 생성된 성악곡의 특징 분포와 실제 바흐 성악곡의 특징 분포 간 워샤프스키 거리(Wasserstein distance)를 가중치 비율에 따라 조합하여 계산한다. 이 평가 함수는 바흐의 성악곡과 생성된 성악곡을 구분하는 데 92.6%의 정확도를 기록했으며, 인간 전문가의 86.7%보다 뛰어난 성능을 보였다.

ABSTRACT

Deep generative systems that learn probabilistic models from a corpus of existing music do not explicitly encode knowledge of a musical style, compared to traditional rule-based systems. Thus, it can be difficult to determine whether deep models generate stylistically correct output without expert evaluation, but this is expensive and time-consuming. Therefore, there is a need for automatic, interpretable, and musically-motivated evaluation measures of generated music. In this paper, we introduce a grading function that evaluates four-part chorales in the style of J.S. Bach along important musical features. We use the grading function to evaluate the output of a Transformer model, and show that the function is both interpretable and outperforms human experts at discriminating Bach chorales from model-generated ones.

연구 동기 및 목표

• 딥 러닝 모델이 J.S. 바흐 스타일의 음악을 생성할 때 사용할 수 있는 자동화되고 해석 가능하며 음악적으로 타당한 평가 지표의 부족을 해결하기 위해.
• 비용이 많이 들고 일관성 없는 인간 평가에 의존하는 것을 줄이고, 음악 생성 모델에 대해 일관되고 확장 가능한 벤치마크를 개발하기 위해.
• 특징별 평가를 통해 생성된 성악곡의 특정 음악적 약점을 식별하고, 이를 바탕으로 모델 개선을 위한 타겟팅된 조치를 가능하게 하기 위해.
• 자동 평가 함수가 인간 전문가보다 진정한 바흐 성악곡과 모델 생성 성악곡을 구분하는 데 더 뛰어나다는 것을 평가하기 위해.

제안 방법

• 평가 함수는 생성된 성악곡의 특징 분포와 실제 바흐 성악곡의 특징 분포 간 워샤프스키 거리의 가중치 합을 사용하여 실수값 점수를 계산한다.
• 특징으로는 음고 분포(음계 도수), 리듬(분음표 단위의 음표 지속시간), 보이스별 간격 분포(음적 간격), 화성 품질(마이저/마이저/ dominant 7th), 평행 간격 오류( quint, octave), 반복 구간 길이가 포함된다.
• 평행 오류 특징은 바흐 평균 대비 오류 수 대비 노트 수 비율에 기반한 동적 가중치를 사용하여, 오류 비율이 비정상적으로 높은 성악곡에 대해 보다 강한 벌점을 적용한다.
• 함수는 music21을 사용하여 구현되었으며, 기준 분포를 정의하기 위해 351개의 진정한 바흐 성악곡으로 구성된 코퍼스를 기반으로 훈련되었다.
• 전체 점수는 다음과 같은 가중치 합으로 계산된다: $ g(c) = \sum_{f\in\text{features}} w_f \cdot \text{Wass}(P_c^f, P_{\text{Bach}}^f) $, 여기서 낮은 값일수록 스타일적 충실도가 높음을 의미한다.
• 모델의 성능은 인간 평가와 평가 함수의 예측을 비교하는 쌍체 식별 테스트를 통해 평가되었다.

실험 결과

연구 질문

• RQ1 완전히 자동화되고 해석 가능한 평가 함수는 J.S. 바흐 스타일의 AI 생성 4악장 성악곡의 스타일적 진정성을 신뢰성 있게 평가할 수 있는가?
• RQ2 개별 음악적 특징(예: 간격, 평행성, 리듬)은 전체 평가 점수에 어떻게 기여하며, 생성된 음악에서 드러나는 약점은 무엇인가?
• RQ3 평가 함수는 인간 전문가보다 진정한 바흐 성악곡과 모델 생성 성악곡을 구분하는 데 더 뛰어나게 작동하는가?
• RQ4 평가 함수는 다양한 음악 생성 모델을 비교하기 위한 일관되고 확장 가능한 벤치마크로 얼마나 잘 기능할 수 있는가?
• RQ5 피치, 화성, 리듬적 구조와 같은 주요 차원에서 생성된 성악곡의 음악적 특징 분포는 진정한 바흐 성악곡과 어떻게 비교되는가?

주요 결과

• 평가 함수는 쌍체 식별 작업에서 92.6%의 정확도를 기록했으며, 인간 전문가의 86.7%보다 뛰어난 성능을 보였다.
• 콜모고로프–스미르노프 검정을 통해 바흐 성악곡과 생성된 성악곡의 점수 분포 사이에 매우 유의미한 차이가 있음을 확인했으며, p값은 1e-78였다.
• 모든 특징에서 생성된 성악곡이 바흐 성악곡보다 유의미하게 열등했으며, 특히 평행 오류(중위수 2.16 대 0.0)와 반복 구간(중위수 1.86 대 1.29)에서 가장 큰 편차를 보였다.
• 평가 함수는 특정 작곡적 결함을 성공적으로 식별했으며, 예를 들어 6개의 평행 옥타브와 유니즌, 알토 음역에서 4분음표 E의 비정상적으로 긴 반복 구간을 발견했다.
• 모델는 평행 5도와 옥타브를 피하는 데 가장 어려움을 겪었으며, 바흐 성악곡의 중위수 0.0 대비 생성된 성악곡의 중위수 평행 오류 거리가 2.16이었다.
• 특징별 거리 분석을 통해 평가 함수의 해석 가능성은 입증되었으며, 연구자들이 모델의 한계를 진단하고 모델 개선을 위한 방향을 안내하는 데 기여했다.