[논문 리뷰] Automatic Melody Harmonization with Triad Chords: A Comparative Study

Yin-Cheng Yeh, Wen-Yi Hsiao외 8명|arXiv (Cornell University)|2020. 01. 08.

Music and Audio Processing참고 문헌 44인용 수 7

한 줄 요약

이 논문은 9,226개의 멜로디/코드 쌍으로 구성된 새로 수집된 데이터셋을 바탕으로, 템플릿 매칭, HMM, 유전 알고리즘, 딥러닝에 이르기까지 정규화된 멜로디 화성화 기법들을 비교 평가한다. 연구 결과, 특히 기능 화성(functional harmony)을 통합한 딥러닝 모델들이 객관적 지표와 주관적 평가 모두에서 비딥러닝 접근 방식을 능가하는 것으로 나타났다.

ABSTRACT

Several prior works have proposed various methods for the task of automatic melody harmonization, in which a model aims to generate a sequence of chords to serve as the harmonic accompaniment of a given multiple-bar melody sequence. In this paper, we present a comparative study evaluating and comparing the performance of a set of canonical approaches to this task, including a template matching based model, a hidden Markov based model, a genetic algorithm based model, and two deep learning based models. The evaluation is conducted on a dataset of 9,226 melody/chord pairs we newly collect for this study, considering up to 48 triad chords, using a standardized training/test split. We report the result of an objective evaluation using six different metrics and a subjective study with 202 participants.

연구 동기 및 목표

• 전통적인 통계 모델과 딥러닝 접근 방식을 포함한 정규화된 멜로디 화성화 기법의 성능을 평가하고 비교하는 것.
• 표준화된 벤치마킹을 위한 9,226개의 멜로디/코드 쌍으로 구성된 새로운 데이터셋을 수집하고 공개하는 것.
• 객관적 지표와 202명의 참가자가 참여한 대규모 주관적 사용자 연구를 통해 모델 성능을 평가하는 것.
• 다양한 모델 아키텍처와 음악 이론(예: 기능 화성)의 통합이 화성화 품질에 미치는 영향을 조사하는 것.
• 모델 아키텍처와 음악 지식 통합을 분리함으로써 향후 연구의 기반을 마련하는 것.

제안 방법

• 연구는 다섯 가지 모델을 구현하고 평가한다: 템플릿 매칭, 은닉 마르코프 모델(HMM), 유전 알고리즘(GA), 양방향 LSTM(BiLSTM), 그리고 기능 화성을 고려한 딥러닝 모델.
• 모든 모델에 동일한 80/20 훈련/테스트 분할을 적용하며, 새로 수집된 9,226개의 심볼릭 음악 쌍으로 구성된 데이터셋을 사용한다.
• 화성 진척의 품질을 평가하기 위해 여섯 가지 객관적 지표를 사용한다. 이는 화성의 조화성, 음성 이동, 코드 톤 대 비코드 톤 비율 등을 포함한다.
• 202명의 참가자가 참여한 주관적 평가를 통해 모델 출력물을 이원 비교 방식으로 순위 매김하여 음악적 품질과 쾌적함을 평가한다.
• 기능 화성 인식 모델은 화성 기능(예: 톤이크, 딜로미넌트 등)을 입력 표현의 일부로 인코딩하여 음악적 일관성을 향상시킨다.
• 모든 모델은 동일한 조건에서 평가되어 공정한 비교를 보장하며, 일관성을 위해 코드 레이블은 메이저/마이너 삼성화합로 압축된다.

실험 결과

연구 질문

• RQ1 전통적인 통계 모델(예: HMM, 템플릿 매칭)은 현대 딥러닝 모델과 비교해 멜로디 화성화 품질에서 어떻게 다른가?
• RQ2 기능 화성 지식을 통합함으로써 딥러닝 모델의 멜로디 화성화 성능은 어느 정도 향상되는가?
• RQ3 객관적 지표는 인간의 인식과 얼마나 관련이 있는가?
• RQ4 절대 점수 평가에 비해 이원 비교 주관적 평가가 인간 평가의 편향을 줄일 수 있는가?
• RQ5 다양한 모델 아키텍처는 음악적으로 타당한 화성 진전을 생성할 때 각각 어떤 강점과 한계를 지니는가?

주요 결과

• 딥러닝 모델, 특히 기능 화성 인코딩을 통합한 BiLSTM 기반 모델이 모든 객관적 지표와 주관적 평가에서 최고의 성능을 보였다.
• 기능 화성 인식 모델은 화성의 조화성과 인식된 음악적 흥미 요소에서 다른 딥러닝 및 비딥러닝 모델을 모두 앞섰다.
• 주관적 평가 결과, 인간이 작곡한 진전과 짝을 이룬 경우 모델 출력이 더 쾌적하게 인식되었지만, 이중 기능 화성 모델이 이원 비교에서 전체적으로 가장 높은 순위를 기록했다.
• 템플릿 매칭 및 HMM 기반 모델은 합리적인 성능를 보였지만, 객관적 평가와 주관적 평가 양 측면에서 딥러닝 접근 방식에 항상 뒤지지 않았다.
• 유전 알고리즘 기반 모델은 중간 수준의 성능를 보였으며, 이는 진화적 탐색 전략이 타당한 진전을 생성할 수 있지만 신경망의 일반화 능력에는 뒤진다는 것을 시사한다.
• 연구는 음악 이론적 지식(예: 기능 화성)을 통합함으로써 모델 성능이 상당히 향상되며, 특히 음악적으로 일관된 진전을 생성하는 데서 그 효과가 뚜렷하다는 것을 확인했다.